Documentos de Académico
Documentos de Profesional
Documentos de Cultura
Superinteligencia
Caminos, Peligros, Estrategias
Nick Bostrom
Director, Instituto Futuro de la Humanidad Profesor de la Facultad de Filosofa y Oxford
Martin SchoolUniversidad de Oxford
S.p.A.-Lavis
Los enlaces a sitios web de terceros son proporcionados por Oxford de buena fe y por slo
informacin. Oxford se exime de cualquier responsabilidad por los materiales contenidos
en cualquier pgina web de terceros que se hace referencia en este trabajo.
La fbula inacabada de los Gorriones
Era la temporada de nido-construccin, pero despus de das de trabajo duro y largo, los
gorriones se sent en el resplandor de la noche, relajante y piar de distancia.
"Estamos todos tan pequeo y dbil. Imagina lo fcil que sera la vida si tuviramos un
bho que podran ayudarnos a construir nuestros nidos! " "S!",
Dijo
podramos utilizarlo para cuidar a nuestros ancianos y nuestros jvenes."
otro.
"Y
"Nos podra dar consejos y mantener un ojo hacia fuera para el gato barrio",
aadi un tercero.
Entonces Pastus, el ave mayor, habl: "Enviemos exploradores en todas
direcciones y tratamos de encontrar un owlet abandonada en algn lugar, o tal vez un
huevo. Una chica cuervo tambin podra hacer, o una comadreja beb. Esto podra ser lo
mejor que le ha pasado a nosotros, por lo menos desde la apertura del Pabelln de
Ilimitado grano en el patio trasero de all ".
El rebao estaba eufrico y gorriones piando todas partes comenz en la parte
superior de sus pulmones.
cmo controlar lo que la superinteligencia hara-se ve muy difcil. Tambin parece que
slo obtendremos una oportunidad. Una vez que existe superinteligencia antiptico, que
nos impedira su sustitucin o cambiar sus preferencias. Nuestro destino se sell.
En este libro, trato de entender el desafo presentado por la perspectiva de
superinteligencia, y la forma en que mejor podra responder. Esta es posiblemente la
humanidad reto ms importante y ms desalentadora jams se ha enfrentado. Y, tanto si
tenemos xito o fracasamos-es, probablemente, el ltimo desafo que alguna vez cara.
No es parte del argumento de este libro que estamos en el umbral de un gran
avance en la inteligencia artificial, o que podemos predecir con precisin cundo podra
ocurrir tal desarrollo. Parece poco probable que va a suceder en algn momento de este
siglo, pero no sabemos a ciencia cierta. El primer par de captulos do discutir posibles vas
y decir algo acerca de la cuestin de la oportunidad. La mayor parte del libro, sin embargo,
se trata de lo que sucede despus. Se estudia la cintica de una explosin de inteligencia,
las formas y los poderes de la superinteligencia, y las opciones estratgicas disponibles
para un agente superinteligente que logra una ventaja decisiva. Luego nos cambiamos
nuestro enfoque al problema de control y preguntamos qu podamos hacer para dar
forma a las condiciones iniciales a fin de lograr un resultado de supervivencia y
beneficioso. Hacia el final del libro, nos acercamos y contemplamos el panorama general
que emerge de nuestras investigaciones. Algunas sugerencias se ofrecen en lo que se debe
hacer ahora para aumentar nuestras posibilidades de evitar una catstrofe existencial
despus.
Esto no ha sido un libro fcil de escribir. Espero que el camino que se ha aclarado
que permitir a otros investigadores para llegar a la nueva frontera ms rpida y cmoda,
para que puedan llegar all fresco y listo para unirse a los trabajos para ampliar an ms el
alcance de nuestra comprensin. (Y si la forma en que se ha hecho es un poco accidentado
y articulados, espero que los colaboradores, al juzgar el resultado, no hay que subestimar
la hostilidad del terreno
ex ante!)
Esto no ha sido un libro fcil de escribir: He tratado de hacer que un libro fcil de
leer, pero no creo que bastante he tenido xito. Al escribir, que yo tena en mente como el
pblico objetivo una anterior intervalo de tiempo de m mismo, y yo trat de producir un
tipo de libro que me hubiera gustado leer. Este podra ser un grupo demogrfico estrecho.
Sin embargo, creo que el contenido debe ser accesible a muchas personas, si ponen un
poco de pensamiento en l y resistir la tentacin de malinterpretar instantneamente
cada nueva idea asimilando con el
la mayora de sonido similar clich disponibles en sus despensas culturales. Lectores no
tcnicos no deben ser desalentados por algn que otro acto de las matemticas o
vocabulario especializado, ya que siempre es posible deducir el punto principal de las
explicaciones de los alrededores. (Por el contrario, para aquellos lectores que quieren ms
de lo esencial y bsico, no hay mucho que se encuentran entre los endnotes.1)
Muchos de los puntos sealados en este libro son probablemente equivocado. 2
Tambin es probable que haya consideraciones de importancia crtica que no tienen en
cuenta, lo que invalida todas o algunas de mis conclusiones. He ido a alguna extensin
para indicar matices y grados de incertidumbre en todo el texto-gravar con una mancha
fea de "posiblemente", "podra", "puede", "podra bien", "parece", "probablemente"
"muy probable", "casi con seguridad". Cada calificador se ha colocado donde es cuidadosa
y deliberadamente. Sin embargo, estas aplicaciones tpicas de la modestia epistmica no
son suficientes; deben ser complementados aqu por una admisin sistmica de
incertidumbre y falibilidad. Esto no es falsa modestia, porque mientras yo creo que mi
libro es probable que sea muy mal y engaoso, creo que los puntos de vista alternativos
que se han presentado en la literatura son sustancialmente peores, incluyendo la vista por
defecto, o "hiptesis nula" segn la cual podemos por el momento de manera segura o
razonablemente ignorar la perspectiva de superinteligencia.
AGRADECIMIENTOS
La membrana que ha rodeado el proceso de escritura ha sido bastante permeable.
Muchos conceptos e ideas generadas mientras se trabaja en el libro se ha permitido a
filtrarse hacia fuera y se han convertido en parte de una conversacin ms amplia; y, por
supuesto, numerosas ideas procedentes del exterior, mientras que el libro se marcha se
han incorporado en el texto. He tratado de ser un poco diligente con el aparato de la
citacin, pero las influencias son demasiados para documentar plenamente.
Para amplios debates que han ayudado a aclarar mi pensamiento Agradezco a un gran
conjunto de personas, incluyendo Ross Andersen, Stuart Armstrong, Owen Algodn Barratt, Nick Beckstead, David Chalmers, Paul Christiano, Miln Dirkovid, Daniel Dennett,
David Deutsch, Daniel Dewey, Eric Drexler, Peter Eckersley, Amnn Edn, Owain Evans,
Benja Fallenstein, Alex Flint, Carl Frey, Ian Goldin, Katja Gracia, J. Storrs Hall, Robin
Hanson, Demis Hassabis, James Hughes, Marcus Hutter, Garry Kasparov, Marcin Kulczycki,
Shane Legg, Moshe Looks, Willam MacAskill, Eric Mandelbaum, James Martin, Lillian
Martin, Roko Mijic, Vincent Mueller, Elon Musk, Sen higeartaigh, Toby Ord, Dennis
Pamlin, Derek Parfit, David Pearce, Huw Price, Martin Rees , Bill Roscoe, Stuart Russell,
Anna Salamon, Lou Salkind, Anders Sandberg, Julian Savulescu, Jrgen Schmidhuber,
Nicholas Shackel, Murray Shanahan, Noel Sharkey, Carl Shulman, Peter Singer, Dan
Stoicescu, Jaan Tallinn, Alexander Tamas, Max Tegmark, Roman Yampolskiy y Eliezer
Yudkowsky.
Para los comentarios detallados sobre todo, estoy agradecido a Miln Dirkovid,
Daniel Dewey, Owain Evans, Nick Hay, Keith Mansfield, Lucas Muehlhauser, Toby Ord, Jess
Riedel, Anders Sandberg, Murray Shanahan, y Carl Shulman. Para asesoramiento o ayuda
de investigacin con diferentes partes Quiero agradecer Stuart Armstrong, Daniel Dewey,
Eric Drexler, Alexandre Erler, Rebecca Roache, y Anders Sandberg.
Para obtener ayuda con la preparacin del manuscrito, estoy agradecido a Caleb
Bell, Malo Bourgon, Robin Brandt, Lance Bush, Cathy Douglass, Alexandre Erler, Kristian
Rnn, Susan Rogers, Andrew Snyder-Beattie, Cecilia Tilli, y Alex Vermeer. Quiero
agradecer especialmente a mi editor Keith Mansfield por su aliento abundantes durante
todo el proyecto.
Mis disculpas a todos los dems que debera haber sido recordado aqu.
Por ltimo, un aficionado ms gracias a los patrocinadores, amigos y familia: sin su
respaldo, no se habra hecho este trabajo.
CONTENIDOS
Las listas de figuras, tablas y Cajas
1. Evolucin del pasado y capacidades actuales
Modos de crecimiento y la historia grande
Grandes expectativas
Estaciones de la esperanza y la desesperacin
Lo ltimo
Las opiniones sobre el futuro de la inteligencia artificial
2. Caminos de superinteligencia
Inteligencia artificial
Emulacin total del cerebro
Cognicin Biolgica
Interfaces cerebro-ordenador
Redes y organizaciones
Emulacin y caminos de AI
Potencia Optimizacin y explosividad
5. ventaja estratgica decisiva
El favorito obtener una ventaja estratgica decisiva?
Qu tan grande ser el xito
del proyecto?
Monitoreo
La colaboracin internacional
Desde ventaja estratgica decisiva a Singleton
6.
superpotencias
cognitivos
Funcionalidades y superpotencias
Un escenario de toma de control AI
Alimentacin a travs de la naturaleza y los agentes
7. La voluntad superinteligente La relacin entre la inteligencia y la motivacin
Convergencia Instrumental
Instinto de conservacin Integridad gol contenido
Mejora cognitiva
La perfeccin tecnolgica
Adquisicin de recursos
8. Es el resultado doom defecto? Catstrofe existencial como el resultado
predeterminado de una explosin de inteligencia? El giro traicionera
Modos de fallo malignos
Instanciacin Perverse Profusin Infraestructura
Crimen Mente 9. El problema de control Dos problemas de agencia
Mtodos de control de la Capacidad
Mtodos de boxeo
Mtodos de incentivos
El retraso del crecimiento
Cables trampa
Normatividad indirecta
Aumento
Sinopsis
10. orculos, genios, soberanos, herramientas
Orculos
Genios y soberanos Herramienta-IA
Comparacin
11. escenarios multipolares
De caballos y hombres
evolucin
no
es
segunda
transicin
Seleccin Evolutiva
Aprendizaje por refuerzo
Acrecin valor asociativo
Andamios de motivacin
Aprendizaje Valor
Modulacin de Emulacin
Diseo Institucin
Sinopsis
13. La eleccin de los criterios para la eleccin La necesidad de normatividad
indirecta Volicin extrapolado Coherente Algunas explicaciones
Justificaciones para CEV
Otras observaciones
Modelos de moralidad
Do What I Mean
Lista de componentes
Contenido Meta
Teora de la decisin
Epistemologa Ratificacin Conseguir lo suficientemente cerca
14. El cuadro estratgico
Estrategia de ciencia y tecnologa
Desarrollo tecnolgico diferencial
Orden preferido de llegada
Las tasas de cambio y la mejora de la cognicin
Acoplamientos Tecnologa
Segundo-adivinanzas
Caminos y facilitadores
Efectos de los avances de hardware Se debe promover la investigacin de emulacin de
todo el cerebro? La perspectiva de la persona que afectan favorece la velocidad
Colaboracin La carrera dinmica y sus peligros Sobre los beneficios de la colaboracin
Trabajando juntos Tiempo 15. Crunch Filosofa con una fecha lmite
Qu se debe hacer?
7.
que viven a nivel de subsistencia. Por 5000 aC, tras la Revolucin Agrcola, la tasa de
crecimiento haba aumentado hasta el punto en que la misma cantidad de crecimiento
tuvo apenas dos siglos. Hoy en da, despus de la Revolucin Industrial, la economa
mundial crece en promedio en esa cantidad cada noventa minutos.1 Incluso el actual
ritmo de crecimiento va a producir resultados impresionantes si se mantiene durante un
moderadamente largo tiempo. Si la economa mundial sigue creciendo al mismo ritmo que
lo ha hecho en los ltimos cincuenta aos, el mundo va a haber algunas 4,8 veces ms rico
en el 2050 y cerca de 34 veces ms rico en 2100 de lo que es hoy.2 Sin embargo, la
perspectiva de continuar en una senda de crecimiento exponencial constante palidece en
comparacin con lo que pasara si el mundo fuera a experimentar otro cambio de ritmo en
la tasa de crecimiento comparable en magnitud a los asociados con la revolucin agrcola y
la Revolucin Industrial. El economista Robin Hanson estima, en base a los datos
econmicos y poblacionales histricos, una economa mundial caracterstica de tiempo
para que la sociedad de cazadores-recolectores del Pleistoceno de 224.000 aos de
duplicacin; para la sociedad la agricultura, 909 aos; y para la sociedad industrial, 6,3
aos3 (En el modelo de Hanson, la poca actual es una mezcla de la agricultura y de los
modos-el crecimiento industrial de la economa mundial en su conjunto an no est
creciendo a la tasa de duplicacin de 6,3 aos.) Si otro tales transicin a un modelo de
crecimiento diferente se produjera, y fuera de magnitud similar a los dos anteriores, que
dara lugar a un nuevo rgimen de crecimiento en el que la economa mundi al se
duplicara en tamao cada dos semanas. Dicha tasa de crecimiento parece fantstico por
las luces actuales. Los observadores en pocas anteriores podran haber encontrado
igualmente absurdo suponer que la economa mundial un da sera duplica varias veces
dentro de un mismo perodo de vida. Sin embargo, esa es la condicin extraordinaria que
ahora damos a ser ordinarias.
La idea de una singularidad tecnolgica que viene a estas alturas ha sido
ampliamente popularizado, empezando por ensayo seminal de Vernor Vinge y
continuando con los escritos de Ray Kurzweil y otros.4 El trmino "singularidad", sin
embargo, se ha utilizado en muchos sentidos confusamente dispares y ha acrecentado un
(todava casi milenaria) aura impa de connotations.5 tecno-utpico Dado que la mayora
de estos significados y connotaciones son irrelevantes para nuestro argumento, podemos
ganar claridad mediante la supresin de la palabra "singularidad" en favor de una
terminologa ms precisa.
La idea relacionada singularidad que nos interesa aqu es la posibilidad de una
explosin de inteligencia, En particular la perspectiva de la mquina superinteligencia.
Puede haber quienes estn persuadido por los diagramas de crecimiento como los de la
Figura 1 que otro cambio drstico en el modo de crecimiento est en las cartas,
comparable a la agrcola o la Revolucin Industrial. Esta gente puede entonces reflejan
que es difcil concebir un escenario en el que el tiempo de duplicacin de la economa
mundial reduce a meras semanas que no implica la creacin de mentes que son mucho
ms rpido y ms eficiente que el tipo biolgico familiar. Sin embargo, el caso de tomar en
serio la perspectiva de una revolucin inteligencia de la mquina no tiene por qu
depender de los ejercicios de ajuste de curvas o extrapolaciones de crecimiento
econmico pasado. Como veremos, hay razones ms fuertes para tomar atencin.
Figura 1
La historia a largo plazo del PIB mundial. Trazada en una escala lineal, la historia de la
economa mundial se parece a una lnea plana abrazando a la X
eje y, hasta que de repente clava verticalmente hacia arriba. (A) Incluso cuando nos
acercamos a las ms recientes 10.000 aos, el patrn sigue siendo esencialmente una de
un solo ngulo de 90 . (B) Slo en los ltimos 100 aos ms o menos hace el ascensor
curva sensiblemente por encima del nivel cero. (Las diferentes lneas en la trama
corresponden a diferentes conjuntos de datos, que producen poco diferente estimates.6)
Grandes expectativas
Mquinas emparejan los seres humanos en la inteligencia de que en general es,
que poseen el sentido comn y la capacidad efectiva de aprender, razonar y planificar
para satisfacer desafos complejos de procesamiento de informacin a travs de una
amplia gama de naturales y abstractas dominios han esperado desde la invencin de las
computadoras en la dcada de 1940. En ese momento, la llegada de este tipo de
mquinas a menudo se coloca una veintena de aos en el futuro.
7
Desde entonces, la fecha prevista de llegada ha estado retrocediendo a un ritmo
de un ao por cada ao; por lo que hoy en da, los futuristas que se preocupan por la
posibilidad de ia fuerte todava a menudo creen que las mquinas inteligentes son un par
de dcadas away.8
Dos dcadas es un punto dulce para pronosticadores de cambio radical: lo
suficientemente cerca para ser que llame la atencin y relevante, pero lo suficiente para
que sea posible suponer que para entonces podra haber ocurrido una serie de avances,
en la actualidad slo vagamente imaginable,. Contraste esto con plazos ms cortos: la
mayora de las tecnologas que tendrn un gran impacto en el mundo en cinco o diez aos
a partir de ahora ya son de uso limitado para que tecnologas que remodelar el mundo en
menos de quince aos, probablemente existen como prototipos de laboratorio. Veinte
aos tambin pueden estar cerca de la duracin tpica restante de la carrera de un
pronosticador, que limita el riesgo reputacional de una prediccin audaz.
Del hecho de que algunos individuos han sobrepronostic inteligencia artificial en
el pasado, sin embargo, no se sigue que la IA es imposible o nunca se desarroll.
9
La razn principal por la que el progreso ha sido ms lento de lo esperado es que
las dificultades tcnicas de la construccin de mquinas inteligentes han demostrado ser
superiores a los pioneros previeron. Pero esto deja abierta cun grande esas dificultades
son y qu tan lejos estamos ahora de superarlos. A veces, un problema que parece
inicialmente irremediablemente complicada resulta tener una solucin
sorprendentemente simple (aunque lo contrario es probablemente ms comn).
En el prximo captulo, vamos a ver los diferentes caminos que pueden conducir a la
inteligencia de las mquinas a nivel humano. Pero notemos en primer lugar que no
obstante las muchas paradas que hay entre aqu y la inteligencia artificial a nivel humano,
ste no es el destino final. La siguiente parada, a poca distancia de ms largo de las pistas,
es la inteligencia artificial a nivel sobrehumano. El tren no podra deten er o incluso
desacelerar en la estacin Humanville. Es probable que Swoosh derecho.
El matemtico IJ Good, que haba servido como jefe de estadstica en el equipo para
romper el cdigo de Alan Turing en la Segunda Guerra Mundial, podra haber sido el
primero en enunciar los aspectos esenciales de este escenario. En un pasaje muy citado de
1965, escribi:
Deje una mquina ultrainteligente definirse como una mquina que ahora puede superar
todas las actividades intelectuales de cualquier hombre, sin embargo inteligente. Desde el
diseo de mquinas es una de estas actividades intelectuales, una mquina
ultrainteligente podra disear incluso mejores mquinas; entonces habra, sin duda, una
"explosin de inteligencia", y la inteligencia del hombre se quedara muy atrs. As, la
primera mquina ultrainteligente es la ltima invencin de que el hombre tiene que hacer
cada vez, siempre que la mquina es lo suficientemente dcil para decirnos cmo
mantenerla bajo control.
10
Puede parecer obvio ahora que los principales riesgos existenciales se asociaran
con una explosin como la inteligencia, y que la perspectiva, por tanto, debe ser
examinada con la mayor seriedad, incluso si se supiera (que no lo es) tener sino un
moderado pequea probabilidad de que viene pasar. Los pioneros de la inteligencia
artificial, sin embargo, a pesar de su creencia en la inminencia de nivel AI humana, en su
mayora no contemplan la posibilidad de mayor de lo humano AI. Es como si sus msculos
especulacin lo haba agotado en concebir la posibilidad radical de mquinas alcanzando
la inteligencia humana que no poda comprender el corolario-que las mquinas seran
posteriormente
convertido
superinteligente.
Los pioneros de AI en su mayor parte no tolerar la posibilidad de que su empresa podra
implicar riesgos.
11
Le dieron ningn servicio a dejar el labio solo seria pensamiento a cualquier problema de
seguridad o reparo tico relacionado con la creacin de mentes artificiales y potenciales
seores informticos: una laguna que asombra incluso en el contexto de la era de la
normas no tan impresionantes de tecnologa crtica assessment.12 Debemos esperar que
por el momento la empresa con el tiempo llega a ser factible, habremos ganado no slo el
nivel de competencia tecnolgica para provocar una explosin de inteligencia, sino
tambin el mayor nivel de maestra que sean necesarias para hacer que la detonacin de
supervivencia.
Pero antes de que nos dirigimos a lo que se avecina, ser til tomar un rpido vistazo a la
Si bien se haban conocido los modelos de redes neuronales simples desde finales de
1950, el campo disfrut de un renacimiento despus de la introduccin del algoritmo
backpropagation, lo que hizo posible entrenar redes neuronales multicapa.
24
Este tipo de redes de mltiples capas, que tienen uno o ms intermediarios ("ocultos")
capas de neuronas entre las capas de entrada y de salida, pueden aprender una gama
mucho ms amplia de funciones que sus predecessors.25 sencillas combinadas con los
ordenadores cada vez ms potentes que se estaban convirtiendo disponibles, estas
mejoras algortmicas permiti a los ingenieros para construir redes neuronales que eran lo
suficientemente bueno como para ser til en muchas aplicaciones.
Las cualidades del cerebro como de las redes neuronales contrastados fa vorablemente
con la lgica de cortar de manera rgida pero el rendimiento de los sistemas frgiles suficientes BAIA basados en reglas tradicionales de modo de inspirar un nuevo "ismo"
conexionismo
, Que hizo hincapi en la importancia de procesamiento sub-simblico paralelo masivo.
Ms de 150.000 artculos acadmicos ya han sido publicados en las redes neuronales
artificiales, y seguir siendo un enfoque importante en el aprendizaje de la mquina.
Los mtodos basados en la evolucin, tales como algoritmos genticos y programacin
gentica, constituyen otro enfoque cuyo surgimiento ayudado a poner fin a la segunda
invierno AI. Hizo tal vez un impacto acadmico menor que las redes neuronales, pero fue
ampliamente popularizado. En los modelos evolutivos, se mantiene una poblacin de
soluciones candidatas (que pueden ser estructuras o programas de datos), y las nuevas
soluciones candidatas son generados aleatoriamente por mutacin o recombinacin de
variantes en la poblacin existente. Peridicamente, la poblacin se poda mediante la
aplicacin de un criterio de seleccin (una funcin de aptitud) que permite que slo los
mejores candidatos para sobrevivir en la prxima generacin. Repiten a lo largo de miles
de generaciones, la calidad media de las soluciones en el grupo de candidatos aumenta
gradualmente. Cuando funciona, este tipo de algoritmo puede producir soluciones
eficientes a una amplia gama de problemas-soluciones que pueden ser
sorprendentemente novedoso y poco intuitivo, a menudo buscan ms como estructuras
naturales que cualquier cosa que un ingeniero humano diseara. Y, en principio, esto
puede ocurrir sin mucha necesidad de intervencin humana ms all de la especificacin
inicial de la funcin de aptitud, que a menudo es muy simple. En la prctica, sin embargo,
conseguir mtodos evolutivos de trabajar bien requiere habilidad e ingenio, sobre todo en
la elaboracin de un buen formato de representacin. Sin una
forma eficiente para codificar soluciones candidatos (un lenguaje gentico que coincid e
con la estructura latente en el dominio de destino), la bsqueda de la evolucin tiende a
deambular eternamente en un vasto espacio de bsqueda o quedar atrapado en un
ptimo local. Incluso si se encuentra un buen formato de representacin, la evolucin es
computacionalmente exigente ya menudo es derrotado por la explosin combinatoria.
Las redes neuronales y algoritmos genticos son ejemplos de mtodos que estimulan el
entusiasmo en la dcada de 1990 al aparecer para ofrecer alternativas al paradigma
estancamiento BAIA. Pero la intencin aqu no es para cantar las alabanzas de estos dos
mtodos o para elevarlos por encima de las muchas otras tcnicas de aprendizaje
automtico. De hecho, uno de los principales desarrollos tericos de los ltimos veinte
aos ha sido una comprensin ms clara de cmo superficialmente tcnicas dispares
pueden ser entendidas como casos especiales dentro de un marco matemtico comn. Por
ejemplo, muchos tipos de red neuronal artificial se pueden ver como clasificadores que
realizan un tipo particular de clculo estadstico (estimacin de mxima verosimilitud).26
Esta perspectiva permite redes neuronales que deben compararse con una clase ms
amplia de algoritmos para clasificadores de ejemplos- aprendizaje "rboles de decisin",
"modelos de regresin logstica", "mquinas de vectores soporte", "ingenuo de Bayes", "
k
-nearest-vecinos de regresin ", entre others.27 De una manera similar, los algoritmos
genticos se pueden ver como realizar estocstico de escalada, que es de nuevo un
subconjunto de una clase ms amplia de algoritmos para la optimizacin. Cada uno de
estos algoritmos para la construccin de clasificadores o para la bsqueda de un espacio
de soluciones tiene su propio perfil de las fortalezas y debilidades que se p ueden estudiar
matemticamente. Los algoritmos difieren en sus requisitos de tiempo de procesador y
espacio de memoria, que los sesgos inductiva que presuponen, la facilidad con que
externamente contenido producido se puede incorporar, y la transparencia d e su
funcionamiento interno son un analista humano.
Detrs del alarde publicitario de la mquina de aprendizaje y resolucin creativa de
problemas tanto se encuentra un conjunto de compensaciones matemticamente bien
especificadas. Lo ideal es que el agente de bayesiano perfecto, uno que hace uso
probabilsticamente ptimo de la informacin disponible. Este ideal es inalcanzable
porque est demasiado computacionalmente exigente para ser implementado en
cualquier equipo fsico (vase el recuadro 1). En consecuencia, se puede ver la inteligencia
artificial como una bsqueda para encontrar atajos: formas de tractably aproximar el ideal
bayesiano sacrificando algunos optimalidad o generalidad preservando suficiente para
conseguir un alto rendimiento en los dominios reales de inters.
Un reflejo de esta imagen se puede ver en el trabajo realizado durante el ltimo par de
dcadas en los modelos grficos probabilsticos, como las redes Bayesianas. Redes
bayesianas proporcionan una forma concisa de representar las relaciones de
independencia probabilsticos y condicionales que tienen en algn dominio particular.
(Explotacin de tales relaciones de independencia es esencial para la superacin de la
explosin combinatoria, que es como un gran problema para la inferencia probabilstica
como lo es para la deduccin lgica.) Tambin proporcionan informacin importante
sobre el concepto de causalidad. 28
Una de las ventajas de relacionar los problemas de aprendizaje de los dominios
especficos para el problema general de la inferencia bayesiana es que los nuevos
algoritmos que hacen inferencia bayesiana ms eficiente entonces producir mejoras
inmediatas a travs de muchas reas diferentes. Los avances en las tcnicas de
aproximacin de Monte Carlo, por ejemplo, se aplican directamente en la visin artificial,
la robtica, la gentica y computacionales. Otra ventaja es que permite a los
investigadores de diferentes disciplinas piscina ms fcilmente sus resultados. Modelos
grficos y estadstica bayesiana se han convertido en un foco comn de investigacin en
32
(Para encontrar la accin con la ms alta utilidad esperada, el agente podra enumerar
todas las acciones posibles. Se podra entonces calcular la distribucin de probabilidad
condicional dada la accin de la distribucin de probabilidad que resultara de
conditionalizing su distribucin de probabilidad actual en la observacin de que la accin
tena acaba de ser tomada. Por ltimo, se podra calcular el valor esperado de la accin
como la suma del valor de cada mundo posible multiplicado por la probabilidad
condicional de que el mundo dado action.33)
La regla de aprendizaje y la regla de
decisin en conjunto definen una "nocin ptimo" para un agente. (Esencialmente la
misma nocin de optimalidad se ha utilizado ampliamente en la inteligencia artificial, la
epistemologa, la filosofa de la ciencia, la economa, y las estadsticas.
34
) En realidad, es imposible construir un agente tal porque es computacionalmente
intratable para realizar los clculos necesarios. Cualquier intento de hacerlo sucumbe a
una explosin combinatoria como el descrito en nuestra discusin de la BAIA. Para ver por
qu esto es as, considere un pequeo subconjunto de todos los mundos posibles: los que
constan de un solo monitor de ordenador flotando en un vaco sin fin. El monitor tiene 1,
000 1, 000 pxeles, cada uno de los cuales es perpetuamente encendido o apagado.
Incluso este subconjunto de los mundos posibles es enormemente grande: la 2 (1000
1000) posibles estados del monitor superan en nmero a todos los clculos previstos
siempre que tenga lugar en el universo observable. Por lo tanto, no podamos ni siquiera
enumerar todos los mundos posibles en este pequeo subconjunto de todos los mundos
posibles, y mucho menos realizar clculos ms elaborados en cada uno de ellos
individualmente.
Nociones de optimalidad pueden ser de inters terico, incluso si son fsicamente
irrealizable. Nos dan un estndar por el cual juzgar aproximaciones heursticas, ya veces
podemos razonar sobre lo que un agente ptima hara en algn caso especial. Nos
encontraremos con algunas nociones de optimalidad alternativas para agentes artificiales
en el Captulo 12.
Lo ltimo
La inteligencia artificial ya supera a la inteligencia humana en muchos dominios. Tabla 1
encuestas del estado de los equipos de juego de papeles, lo que d emuestra que los IA
ahora venci a los campeones humanos en una amplia gama de juegos.36
Estos logros no podran parecer impresionante hoy. Pero esto se debe a que
nuestros estndares de lo que es impresionante torre adaptando a los avances que se
realizan. Juego de ajedrez de expertos, por ejemplo, se pensaba para personificar la
inteleccin humana. En opinin de varios expertos a finales de los aos cincuenta: "Si uno
pudiera idear una mquina de ajedrez xito, uno parece haber penetrado en el ncleo d e
la actividad intelectual humana."55
Esto ya no parece tan. Uno simpatiza con John McCarthy, quien se lament: ". Tan pronto
como funciona, nadie lo llama AI nunca ms" 56
Tabla 1
Juego de papeles AI
Damas Sobrehumano
Programa de damas de Arthur Samuel, escrito originalmente en 1952 y ms tarde
mejorado (la versin 1955 incorpora el aprendizaje de mquina), se convierte en el primer
programa para aprender a jugar un juego mejor que su creador.
37
En 1994, el programa de CHINOOK bate el campen reinante humana, marcando
la primera vez que un programa gana un campeonato mundial oficial en un juego de
habilidad. En 2002, Jonathan Schaeffer y su equipo "resolver" las damas, es decir, producir
un programa que siempre hace el mejor movimiento posible (que combina la bsqueda
alfa-beta con una base de datos de 39000000000000 posiciones de finales). Juego
perfecto por ambos lados conduce a una draw.38
Backgammon Sobrehumano 1979: El programa de backgammon BKG por Hans Berliner
derrota el-campen primer programa informtico mundo para derrotar (en un partido de
exhibicin) un campen del mundo en cualquier juego, aunque ms tarde Berliner atribuye
la victoria a la suerte con las tiradas de dados.39
En los aos transcurridos desde, programas de backgammon ahora han superado los
mejores jugadores humanos.41
TCS viajeros Sobrehumana en colaboracin con humanos42
Tanto en 1981 y 1982, el programa de Douglas Lenat Eurisko gana el campeonato
de Estados Unidos en TCS viajeros (un juego de guerra naval futurista), lo que provoc
cambios en las reglas para bloquear sus estrategias poco ortodoxas.
43
Eurisko tenido heursticas para el diseo de su flota, y tambin tena la heurstica
para modificar sus heurstica.
Othello Sobrehumano
1997: El programa Logistello gana cada juego en un partido de seis partidos contra
el campen del mundo de Takeshi Murakami.44 Ajedrez Sobrehumano
1997: Deep Blue es mejor que el campen mundial de ajedrez, Garry Kasparov.
Kasparov afirma haber visto destellos de inteligencia y creatividad cierto en algunos de los
movimientos de la computadora. 45
Desde entonces, los motores de ajedrez han seguido improve.46
Crucigramas
Nivel Experto 1999: El programa Proverbio crucigrama para resolver el crucigrama supera a -solucionador media.47
2012: El programa Dr. Fill, creada por Matt Ginsberg, las puntuaciones en el cuartil
ingeniosos, y tal vez incluso modelar el pensamiento de un rival. No tan. Result ser
posible construir un motor de ajedrez perfectamente bien en torno a un algorithm.58 para
fines especiales Cuando se implementa en los procesadores rpidos que se hicieron
disponibles hacia el final del siglo XX, que produce el juego muy fuerte. Pero una IA
construido de esa manera es estrecha. Juega al ajedrez; que puede hacer no other.59
En otros dominios, soluciones han resultado ser ms
complicada de lo previsto inicialmente, y el progreso ms lento. El cientfico de la
computacin Donald Knuth fue golpeado que "AI ha ya tenido xito en hacer bsicamente
todo lo que necesita" pensar ", pero ha dejado de hacer la mayor parte de lo que la gente
y los animales" sin thinking'-que, de alguna manera, es mucho ms difcil! "60 Analizar
escenas visuales, reconocimiento de objetos, o controlar el comportamiento de un robot
que interacta con un entorno natural ha demostrado ser un reto. Sin embargo, una
buena cantidad de progreso se ha hecho y contina siendo hecha, ayudado por las
constantes mejoras en el hardware. El sentido comn y la comprensin del lenguaje
natural tambin han resultado ser difcil. En la actualidad se piensa a menudo que el logro
de una actuacin totalmente plano humano en estas tareas es un problema "AI-completo",
lo que significa que la dificultad de resolver estos problemas es esencialmente equivalente
a la dificultad de la construccin en general mquinas inteligentes a nivel humano.61
En otras palabras, si alguien fueron para tener xito en la creacin de una IA que pudiera
entender el lenguaje natural, as como un adulto humano, seran con toda probabilidad
tambin o bien ya han logrado crear una IA que podra hacer todo lo dems que la
inteligencia humana puede hacer, o que seran sino una muy pequeo paso de un
capability.62 tan general
Experiencia Chess-juego result ser alcanzable por medio de un algoritmo
sorprendentemente simple. Es tentador especular que otras capacidades tales como la
capacidad de razonamiento general, o alguna habilidad clave que participan en la
programacin pueden asimismo ser alcanzable a travs de algn algoritmo
sorprendentemente simple. El hecho de que el mejor rendimiento a la vez que se alcanza
a travs de un complicado mecanismo no significa que no existe un mecanismo simple
podra hacer el trabajo tan bien o mejor. Podra ser simplemente que nadie ha encontrado
la alternativa ms sencilla. El sistema de Ptolomeo (con la Tierra en el centro, en rbita
por el Sol, la Luna, los planetas y las estrellas) represent al estado de la tcnica en la
astronoma durante ms de mil aos, y su exactitud predictiva se ha mejorado durante
siglos por complicando progresivamente el modelo aadiendo epiciclos sobre epiciclos a
los movimientos celestes postuladas. Entonces todo el sistema fue derrocado por la teora
heliocntrica de Coprnico, que era ms simple y, aunque slo despus de una mayor
elaboracin por accurate.63 Kepler-ms predictiva
Mtodos de inteligencia artificial se utilizan ahora en ms reas de lo que tendra sentido
para revisar aqu, pero mencionando una muestra de ellos le dar una idea de la amplitud
de las aplicaciones. Aparte del juego de IA aparece en la Tabla 1, hay audfonos con
algoritmos que filtran el ruido ambiental; ruta buscadores que muestran mapas y ofrecen
consejos de navegacin para los conductores; sistemas de recomendacin que sugieren
libros y lbumes de msica basado en las compras y clasificaciones anteriores de un
usuario; y los sistemas de apoyo a las decisiones mdicas que ayudan a los mdicos a
68
Sistemas de reserva de avin utilizan sistemas de programacin y de precios sofisticados.
Las empresas hacen un amplio uso de tcnicas de IA en los sistemas de control de
inventario. Tambin utilizan sistemas de reserva telefnica automticas y lneas de ayuda
Comercio algortmico ha sido implicado en Flash Crash de 2010 (ver Cuadro 2).
76
Aunque la distribucin actual de la fe no se ha medido con mucho cuidado, podemos obtener una idea aproximada de
diversas encuestas y observaciones informales ms pequeos. En particular, una serie de encuestas recientes han encuestados
miembros de varias comunidades de expertos pertinentes sobre la cuestin de cundo esperan que "la inteligencia artificial a nivel
humano" (HLMI) a desarrollar, que se define como "una que pueda llevar a cabo la mayora de las profesiones humanas, al menos , as
como un humano tpico ".
77
Los resultados se muestran en la Tabla 2. dio la siguiente (mediana) estiman La
muestra combinada: 10% de probabilidad de HLMI en 2022, 50% de probabilidad para el
2040, y un 90% de probabilidades de 2075. (se les hizo a los encuestados que premisa de
sus estimaciones en el supuesto que "la actividad cientfica humana contina sin
interrupcin importante negativo.")
Estas cifras deben tomarse con algunos granos de sal: tamaos de muestra son bastante
pequeas y no necesariamente representativos de la poblacin general de experto. Ellos
son, sin embargo, en concordancia con los resultados de otras encuestas. 78
Los resultados de la encuesta tambin estn en lnea con algunas entrevistas publicadas
recientemente con aproximadamente dos docenas de investigadores en campos
relacionados a Inteligencia Artificial. Por ejemplo, Nils Nilsson ha pasado una carrera larga
y productiva trabajando en problemas en la bsqueda, la planificacin, la representacin
del conocimiento, y la robtica; es autor de los libros de texto en la inteligencia artificial; y
recientemente complet la historia ms completa del campo escrito hasta la fecha.
79
Cuando se le pregunt acerca de las fechas de llegada para HLMI, ofreci el siguiente
dictamen: 80 10% de probabilidad: 2030 50% de probabilidad: 2050
90% de probabilidad: 2100
Tabla 2
se han equivocado. Por otro lado, los errores ms tpicos entre los practicantes han sido
subestimar las dificultades de conseguir un sistema para llevar a cabo con firmeza en las
tareas del mundo real, y para sobrestimar las ventajas de su propio proyecto personal o
tcnica.
La encuesta tambin pregunt a otras dos cuestiones de importancia para nuestra
investigacin. Se inform de los encuestados acerca de cunto tiempo pensaban que se
tardara en llegar superinteligencia asumiendo mquina-nivel humano se logra primero.
Los resultados estn en la Tabla 3.
Otra pregunta pregunt lo que pensaban sera el impacto general a largo plazo para la
humanidad de alcanzar la inteligencia artificial a nivel humano. Las respuestas se resumen
en la figura 2.
Mis propias opiniones nuevamente difieren un poco de las opiniones expresadas en la
encuesta. Asigno una probabilidad ms alta de superinteligencia crendose relativamente
pronto despus de la inteligencia artificial a nivel humano. Tambin tengo una perspectiva
ms polarizado sobre las consecuencias, pensando una muy buena o un muy mal
resultado ser algo ms propensos que
un resultado ms equilibrado. Las razones de
esto se aclararn ms adelante en el libro.
Tabla 3 Cunto tiempo desde el nivel humano a superinteligencia?
Dentro de 2 aos despus de HLMI
Dentro de 30 aos despus de HLMI
TOP100
5%
50%
10%
75%
Conjunto
conceptos, tal vez porque las tcnicas de tratar con estas dimensiones fueron poco
desarrollada en el momento. Esto no quiere decir que las ideas subyacentes son tan
novedoso. La idea de utilizar el aprendizaje como un medio de bootstrapping un sistema
ms sencillo a la inteligencia de nivel humano se remonta al menos a la nocin de una
"mquina de nio", que l escribi en 1950 de Alan Turing: En lugar de tratar de producir
un programa para simular la mente adulta, por qu no ms bien tratar de producir uno
que simula el nio? Si esto se somete entonces a un curso apropiado de la educacin se
obtendra el cerebro adulto.3
Turing prevea un proceso iterativo para desarrollar una mquina tal nio:
No podemos esperar encontrar una buena mquina nio en el primer intento. Hay que
experimentar con la enseanza de uno de esos mquina y ver lo bien que aprende.
Entonces se puede probar con otro y ver si es mejor o peor. Hay una conexin obvia entre
este proceso y la evolucin .... Uno puede Esperemos, sin embargo, que este proceso ser
ms rpido que la evolucin. La supervivencia del ms apto es un mtodo lento para
medir ventajas. El experimentador, por el ejercicio de la inteligencia, debe ser capaz de
acelerarlo. Igualmente importante es el hecho de que no se limita a mutaciones
aleatorias. Si es capaz de trazar una causa de alguna debilidad que probablemente puede
pensar en el tipo de mutacin que mejorarlo.
4
Sabemos que los procesos evolutivos ciegos pueden producir inteligencia general a nivel
humano, puesto que ya lo han hecho al menos una vez. Procesos evolutivos con visin de
futuro, es decir, los programas genticos diseados y guiados por un ser inteligente
programador debe humano ser capaz de lograr un resultado similar con mucho mayor
eficiencia. Esta observacin ha sido utilizado por algunos filsofos y cientficos, entre ellos
David Chalmers y Hans Moravec, para argumentar que a nivel de AI humana no slo es
tericamente posible, pero factible dentro de este siglo. 5 La idea es que podemos
estimar las capacidades relativas de evolucin y la ingeniera humana para producir
inteligencia, y encontrar que la ingeniera humana es ya muy superior a la evolucin en
algunas reas y es probable que se convierta superior en las reas restantes en poco
tiempo. El hecho de que la evolucin produce la inteligencia, por tanto, indica que la
ingeniera humana pronto ser capaz de hacer lo mismo. Por lo tanto, escribi Moravec
(ya en 1976):
La existencia de varios ejemplos de inteligencia diseado bajo estas limitaciones
nos debe dar una gran confianza de que podemos lograr lo mismo en el corto plazo. La
situacin es anloga a la historia del ms pesado que el vuelo del aire, donde las aves,
murcilagos e insectos demostraron claramente la posibilidad antes de nuestra cultura
domin.6
Uno tiene que tener cuidado, sin embargo, en lo que uno dibuja inferencias de
esta lnea de razonamiento. Es cierto que la evolucin produce ms pesado que el aire de
vuelo, y que los ingenieros humanos posteriormente tuvo xito en hacer lo mismo
(aunque por medio de un mecanismo muy diferente). Otros ejemplos tambin podran
aducirse, como el sonar, la navegacin magntica, las armas qumicas, los fotorreceptores,
y todo tipo de caractersticas de rendimiento mecnico y cinticos. Sin embargo, se podra
igualmente apuntar a reas donde los ingenieros humanos han fracasado hasta el
momento para que coincida con la evolucin: en la morfognesis, la auto-reparacin, y la
defensa inmune, por ejemplo, los esfuerzos humanos estn muy por detrs de lo que la
naturaleza ha logrado. El argumento de Moravec, por lo tanto, no puede darnos "gran
confianza" que podemos lograr la inteligencia artificial a nivel humano "en el corto plazo."
A lo mejor, la evolucin de la vida inteligente coloca un lmite superior en la dificultad
intrnseca del diseo de la inteligencia. Pero este lmite superior podra ser muy muy por
encima de las capacidades actuales de ingeniera humanos.
Otra forma de desplegar un argumento evolutivo para la viabilidad de la IA es a
travs de la idea de que podramos, mediante la ejecucin de algoritmos genticos en las
computadoras lo suficientemente rpidos, conseguir resultados comparables a los de la
evolucin biolgica. Esta versin de la
argumento evolutivo propone por lo tanto un mtodo especfico mediante el cual la
inteligencia podra ser producido.
Pero es cierto que pronto vamos a tener suficiente poder de cmputo para recapitular los
procesos evolutivos pertinentes que produjeron la inteligencia humana? La respuesta
depende tanto de la cantidad de tecnologa informtica avanzar en las prximas dcadas
y en la forma en que se requiere mucha potencia de clculo para ejecutar algoritmos
genticos con la misma potencia de optimizacin como el proceso evolutivo de la
seleccin natural que se encuentra en nuestro pasado. Aunque, al final, la conclusin que
obtenemos de perseguir esta lnea de razonamiento es decepcionantemente
indeterminada, es instructivo para intentar un clculo aproximado (ver Cuadro 3). Si nada
ms, el ejercicio llama la atencin sobre algunas incgnitas interesantes.
El resultado es que los recursos computacionales necesarios para simplemente replicar los
procesos evolutivos relevantes en la Tierra que producen inteligencia a nivel humano son
severamente fuera de su alcance, y permanecern as que incluso si la ley de Moore fuera
a continuar durante un siglo (ver Figura 3). Es plausible, sin embargo, que en comparacin
con la replicacin de fuerza bruta de los procesos evolutivos naturales, vastas mejoras en
la eficiencia son alcanzables por el diseo del proceso de bsqueda para objetivo
para la inteligencia, utilizando diversas mejoras evidentes sobre la seleccin natural. Sin
embargo, es muy difcil de obligado la magnitud de los aumentos de la eficiencia
alcanzables. Ni siquiera podemos decir si ascienden a cinco o veinticinco rdenes de
magnitud. Ausente una mayor elaboracin, por lo tanto, los argumentos evolucionistas no
pueden restringir significativamente nuestras expectativas de cualquiera de la dificultad
de la construccin de la inteligencia artificial a nivel humano o los plazos para tales
desarrollos. Recuadro 3 Qu hara falta para recapitular la evolucin?
No todos los hazaa lograda por la evolucin en el curso del desarrollo de la inteligencia
humana es relevante para un ingeniero humano tratando de evolucionar artificialmente
inteligencia de la mquina. Slo una pequea parte de la seleccin evolutiva de la Tierra
ha sido la seleccin de inteligencia. Ms especficamente, los problemas que los
ingenieros humanos no pueden derivacin trivialmente pueden haber sido objeto de una
porcin muy pequea de la seleccin evolutiva total. Por ejemplo, ya que podemos
ejecutar nuestros equipos de la energa elctrica, que no tenemos que reinventar las
molculas de la economa de la energa celular con el fin de crear mquinas inteligentes, y
sin embargo la evolucin molecular de las vas metablicas podran haber utilizado una
gran parte del total cantidad de energa de seleccin que estaba a disposicin de la
evolucin a lo largo de la historia de la Tierra.
7 Se podra argumentar que las ideas
clave para la IA estn incorporados en la estructura del sistema nervioso, que entr en
existencia hace menos de mil millones de aos.8 Si tomamos ese punto de vista, entonces
el nmero de "experimentos" pertinentes a disposicin de la evolucin se redujo
drsticamente. Hay algunas 4-6 1030 procariotas en el mundo de hoy, pero slo 1.019
insectos, y menos de 1.010 seres humanos (mientras que las poblaciones pre-agrcolas
eran rdenes de magnitud ms pequea) 0.9 Estos nmeros slo son intimidantes
moderadamente.
Los algoritmos evolutivos, sin embargo, requieren no slo variaciones de
seleccionar entre, sino tambin una funcin de aptitud para evaluar variantes, y esto es
por lo general el componente ms costoso computacionalmente. Una funcin de aptitud
para la evolucin de la inteligencia artificial plausiblemente requiere simulacin del
desarrollo neuronal, el aprendizaje y la cognicin para evaluar la aptitud. Podemos por lo
tanto es mejor no hacer para mirar el nmero prima de organismos con sistemas
nerviosos complejos, pero en lugar de asistir al nmero de neuronas en los organismos
biolgicos que podamos necesitar para simular para imitar la funcin de la aptitud de la
evolucin. Podemos hacer un crudo
estimacin de que esta ltima cantidad, considerando los insectos, que dominan la
biomasa animal terrestre (con hormigas solo estimados para contribuir un 15-20%) 10
insectos del tamao del cerebro vara sustancialmente, con los insectos grandes y sociales
luciendo cerebros ms grandes:. un cerebro de la abeja tiene un poco menos de 106
neuronas, el cerebro de la mosca de fruta tiene 105 neuronas, y las hormigas se
encuentran en el medio con 250.000 neurons.11 La mayora de los insectos ms pequeos
pueden tener cerebros de unos pocos miles de neuronas. Errar en el lado de alta de forma
conservadora, si asignamos todos los nmeros 1.019 insectos fruta-mosca de neuronas, el
total sera de 1.024 neuronas de insectos en el mundo. Esto podra ser aumentado con un
pedido adicional de magnitud para dar cuenta de los coppodos acuticas, aves, reptiles,
mamferos, etc., para llegar a 1025. (Por el contrario, en los tiempos pre-agrcolas haba
menos de 107 seres humanos, con arreglo 1.011 neuronas cada :. por lo tanto menos de
1.018 neuronas humanas en total, aunque los seres humanos tienen un mayor nmero de
sinapsis por neurona)
El coste computacional de simular una neurona depende del nivel de detalle que se
incluye en la simulacin. Modelos de neuronas simples Extremadamente utilizan cerca de
1.000 operaciones de punto flotante por segundo (FLOPS) para simular una neurona (en
tiempo real). El modelo de Hodgkin-Huxley electrofisiolgicamente realista utiliza
1200000 flops. Un modelo multi-compartimental ms detallada aadira otros tres o
cuatro rdenes de magnitud, mientras que los modelos de mayor nivel que los sistemas
abstractos de las neuronas podran restar dos a tres rdenes de magnitud a partir de los
modelos simples.
12
Si nos vamos a simular 1.025 neuronas ms de mil millones de aos de evolucin (ms de
la existencia de los sistemas nerviosos como los conocemos), y permitimos que nues tras
computadoras se ejecuten durante un ao, estas cifras nos dan un requisito en el rango de
1031 -1044 flops. En comparacin, China Tianhe-2, la supercomputadora ms potente del
mundo a partir de septiembre de 2013, proporciona slo 3,39 1016 FLOPS. En las
ltimas dcadas, se ha tomado unos 6,7 aos para las computadoras de los productos
bsicos para aumentar el poder en un orden de magnitud. Incluso un siglo de continuo la
ley de Moore no sera suficiente para cerrar esta brecha. Ejecucin de hardware ms
especializado, o permitiendo ya veces correr, podra contribuir a pocos ms rdenes de
magnitud.
Esta cifra es conservadora en otro aspecto. Evolucin logra la inteligencia
humana, sin el objetivo de este resultado. En otras palabras, las funciones de la aptitud
para organismos naturales no seleccionan slo por la inteligencia y sus precursores.13
Incluso los entornos en los que los organismos con habilidades de procesamiento de
informacin superiores Reap diversas recompensas no pueden seleccionar para la
inteligencia, ya la mejora de la inteligencia pueden (ya menudo lo hacen) imponer costos
significativos, tales como un mayor consumo de energa o tiempos de maduracin ms
lenta, y esos costos pueden ser mayores que cualquier beneficio se gan desde el
comportamiento ms inteligente. Excesivamente entornos mortales tambin reducen el
valor de la inteligencia: la vida til esperada de la ms corta, menos tiempo habr para
una mayor capacidad de aprendizaje para pagar. Reduccin de la presin selectiva para la
inteligencia retarda la propagacin de las innovaciones de inteligencia de mejora, y por lo
tanto la oportunidad para la seleccin a favor de innovaciones posteriores que dependen
de ellos. Por otra parte, la evolucin puede terminar atrapado en ptimos locales que los
seres humanos se dieran cuenta y bypass mediante la alteracin de las compensaciones
entre la explotacin y la exploracin o proporcionando una suave progresin de la cada
vez ms difcil tests.14 inteligencia y como se mencion anteriormente, la evolucin
dispersa mucho de su poder seleccin en rasgos que no estn relacionados con la
inteligencia (como carreras rojo Reina de co-evolucin de competencia entre los sistemas
inmunolgicos y parsitos). Evolucin contina desperdiciando recursos que producen
mutaciones que han demostrado consistentemente letal, y no toma ventaja de similitudes
estadsticas en los efectos de las diferentes mutaciones. Estas son todas las ineficiencias en
la seleccin natural (cuando se ve como un medio de evolucin de inteligencia) que sera
relativamente fcil para un ingeniero humano para evitar durante el uso de algoritmos
evolutivos para el desarrollo de software inteligente.
Es posible que la eliminacin de ineficiencias como las que acabamos de describ ir que
recortar muchos rdenes de magnitud de la 10 31-1044 TIRN rango calculado
anteriormente. Desafortunadamente, es difcil saber cmo muchos rdenes de magnitud.
Es difcil incluso para hacer una estimacin aproximada de lo que sabemos, los ahorros de
eficiencia podra ser cinco rdenes de magnitud, o diez, o veinte y five.15
20
Bajo ciertas condiciones, un proceso de auto-mejora recursiva tal podra continuar
el tiempo suficiente para dar lugar a una explosin, una inteligencia evento en el que, en
un corto perodo de tiempo, el nivel de un sistema de aumentos de inteligencia de una
relativamente modesta dotacin de capacidades cognitivas ( quiz sub -humana en
muchos aspectos, pero con un talento de dominio especfico para la codificacin y la
investigacin en IA) para superinteligencia radical. Volveremos a esta importante
posibilidad en el captulo 4, en el que se analizaron ms de cerca la dinmica de tal
evento. Tenga en cuenta que este modelo sugiere la posibilidad de sorpresas: los intentos
de construir ia fuerte puede fallar casi por completo hasta el ltimo componente crtico
que falta se pone en el lugar, momento en el cual una semilla AI podra llegar a ser capaz
de auto-mejora recursiva sostenido.
Antes de terminar este apartado, hay una cosa ms que debemos destacar, y es
que una inteligencia artificial no necesita mucho se asemejan a una mente humana. IA
podra ser -de hecho, es probable que la mayora se-ser extremadamente extrao.
Debemos esperar que van a tener muy diferentes arquitecturas cognitivas que
inteligencias biolgicos, y en sus primeras etapas de desarrollo que tendremos muy
diferentes perfiles de las fortalezas y debilidades cognitivas (aunque, como veremos ms
adelante discutir, que podramos eventualmente superar cualquier debilidad inicial) . Por
otra parte, los sistemas de meta de IA podran divergir radicalmente de las de los seres
humanos. No hay razn para esperar que una IA genrico para estar motivado por el amor
o el odio o el orgullo u otros tales sentimientos humanos comunes: estas adaptaciones
complejas requeriran un esfuerzo costoso deliberada de recrear en IA. Esto es a la vez un
gran problema y una gran oportunidad. Volveremos al tema de la motivacin AI en
captulos posteriores, pero es tan central para el argumento de este libro que vale la pena
teniendo en cuenta en todo momento.
Emulacin total del cerebro
En la emulacin de todo el cerebro (tambin conocido como "carga"), software inteligente
sera producida por la exploracin y el modelado de cerca la estructura computacional de
un cerebro biolgico. As, este enfoque representa un caso lmite de la inspiracin de la
naturaleza: descarada plagio. El logro de la emulacin de todo el cerebro requiere la
realizacin de los siguientes pasos.
En primer lugar, se crea un
anlisis suficientemente detallado de un cerebro humano en particular. Esto podra
implicar la estabilizacin del cerebro post-mortem a travs de vitrificacin (un proceso
que convierte el tejido en una especie de vidrio). Una mquina podra entonces
diseccionar el tejido en rodajas finas, lo que podra ser alimentado a otra mquina para el
escaneo, tal vez por una serie de microscopios electrnicos. Varias manchas podran
aplicarse en esta etapa para llevar a cabo diferentes propiedades estructurales y qumicas.
Muchas mquinas de escaneo pueden trabajar en paralelo para procesar mltiples cortes
de cerebro simultneamente.
Figura 4
La reconstruccin de la neuroanatoma 3D a partir de imgenes del
microscopio electrnico.
Arriba a la izquierda : Una micrografa electrnica tpica que muestra secciones
transversales de neuronales materia-dendritas y axones.
Superior derecha
: Imagen Volumen de conejo tejido neural retina adquirida por
bloque cara de serie electrnico de barrido microscopy.21 individuales imgenes 2D se
han apilado en un cubo (con un lado de aproximadamente 11 micras). Fondo
: Reconstruccin de un subconjunto de las proyecciones neuronales de llenado un
volumen de neuropilo, generada por un algorithm.22 segmentacin automatizado
Hay buenas razones para pensar que el requisito que permite tecnologas son alcanzables, aunque no en un futuro prxim o. Ya existen
modelos computacionales razonables de muchos tipos de neuronas y procesos neuronales. Software de reconocimiento de imagen se
ha desarrollado que puede rastrear los axones y dendritas a travs de una pila de imgenes bidimensionales (aunque f iabilidad hay que
mejorar). Y hay Imaging herramientas que proporcionan la resolucin con un microscopio de efecto tnel es posible "ver" los tomos
individuales, que es una resolucin mucho ms alta que la necesaria necesario. Sin embargo, a pesar de los conocimientos y
capacidades sugieren que no hay barrera, en principio, para el desarrollo de la necesaria permitiendo tecnologas, est claro que se
necesitara una gran cantidad de progreso tcnico incrementales para traer la emulacin total del cerebro h umano a su alcance.
24
Por ejemplo, la tecnologa de microscopa necesitara no slo una resolucin
suficiente sino tambin suficiente rendimiento. El uso de una resolucin atmica
microscopio de efecto tnel a la imagen de la superficie necesaria sera d emasiado lento
para ser practicable. Sera ms plausible para utilizar un microscopio electrnico de menor
resolucin, pero esto requerira nuevos mtodos para la preparacin y tincin de tejido
cortical de hacer visibles los detalles relevantes tales como la estructura fina sinptica.
Tambin sera necesaria una gran expansin de las bibliotecas neurocomputacionales y
grandes mejoras en el procesamiento automatizado de imgenes e interpretacin de
anlisis.
Tabla 4
Capacidades necesarias para la emulacin de todo el cerebro
precisa que uno podra utilizar para predecir exactamente lo que habra ocurrido en el
cerebro original si haba sido sometido a una secuencia particular de estmulos. En
cambio, el objetivo es captar suficiente de las propiedades computacionalmente
funcionales del cerebro para permitir la emulacin resultante para llevar a cabo el trabajo
intelectual. Para ello, muchos de los detalles biolgica desordenado de un verdadero
Un anlisis ms elaborado sera distinguir entre los diferentes niveles de xito emulacin
cerebro es irrelevante.
basado en la medida en que se ha conservado la funcionalidad de procesamiento de informacin del cerebro emulado. Por ejemplo, s e
podra distinguir entre (1) una
C. elegans
(A pesar de que ahora puede estar dentro del alcance de un proyecto de
investigacin de tamao moderado dirigida) 0.30 xito en la emulacin de un pequeo
cerebro, como el de C. elegans
, Nos dara una mejor visin de lo que sera necesario para emular cerebro s ms grandes.
mono rhesus
humano
. Debido a las diferencias entre estos peldaos, al menos despus del primer paso son en
su mayora de naturaleza cuantitativa y debido principalmente (aunque no del todo) a las
diferencias en el tamao de los cerebros para ser emulado, que debera ser manejable a
travs de una relativamente sencilla ampliacin de la exploracin y la simulacin
capacity.31
Una vez que empezamos subiendo esta escalera final, el eventual
consecucin de emulacin de todo el cerebro humano se vuelve ms clara foreseeable.32
De este modo podemos esperar obtener alguna advertencia previa antes de la llegada a la
inteligencia artificial de nivel humano a lo largo de toda la trayectoria de la emulacin
cerebro, al menos si el ltimo lugar entre el requisito que permite tecnologas para llega r
a la madurez suficiente es o bien la exploracin de alto rendimiento o de la potencia de
clculo necesaria para la simulacin en tiempo real. Si, sin embargo, la ltima tecnologa
que permite a caer en su lugar es el modelado neurocomputacional, entonces la transicin
de prototipos mediocres a una emulacin humana de trabajo podra ser ms abrupto. Uno
podra imaginar un escenario en el que, a pesar de abundantes datos de exploracin y
computadoras rpidas, est resultando difcil conseguir nuestros modelos neuronales que
funcionan bien. Cuando por fin el ltimo fallo se plancha a cabo, lo que antes era un
sistema anlogo completamente disfuncional tal vez para un cerebro inconsciente de
someterse a un gran mal Convulsin podra encajar en un estado de vigilia coherente. En
este caso, el avance clave no sera anunciada por una serie de funcionamiento
emulaciones animales de aumentar la magnitud (provocando titulares de los peridicos de
tamao de fuente correspondiente escalada). Incluso para aquellos que pagan la atencin
que podra ser difcil saber de antemano el xito cun muchos defectos permanecieron en
los modelos neurocomputacionales en cualquier punto y el tiempo que se tardara en
solucionarlos, incluso hasta la vspera de la gran avance crtico. (Una vez que una
Seleccin
Puntos de CI ganaron
4.2
1 en 10
11.5
1 en 100
18.8
1 de 2
1 en 1000
24.3
5 generaciones de 1 en 10
<65
decrecientes)
(b
rendimientos
10 generaciones de 1 en 10
<130 (b / c rendimientos decrecientes)
Lmites acumulativos (variantes aditivos
optimizados para la cognicin)
100 + (<300 (b / c rendimientos decrecientes)) Curiosamente, la disminucin de los
rendimientos se disminuy en gran medida cuando la seleccin se extiende sobre varias
generaciones. Por lo tanto, la seleccin repetidamente la parte superior 1 en 10 ms de
diez generaciones (que cada nueva generacin se compone de los descendientes de los
seleccionados en la generacin anterior) producir un mayor incremento en el valor rasgo
que una seleccin de 1 en 100 de una sola vez. El problema con la seleccin secuencial,
por supuesto, es que se necesita ms tiempo. Si cada paso generacional lleva veinte o
treinta aos, y luego incluso slo cinco generaciones sucesivas podran empujarnos hasta
bien entrado el siglo XXII. Mucho antes de entonces, los modos ms directos y poderosos
de la ingeniera gentica (por no hablar de la inteligencia artificial) lo ms probable es
estar disponible.
Hay, sin embargo, una tecnologa complementaria, uno que, una vez que ha sido
desarrollado para uso en seres humanos, sera potenciar en gran medida la mejora de la
potencia pre-implantacin cribado gentico: a saber, la derivacin de esperma viable y
huevos a partir de clulas madre embrionarias.
46
Las tcnicas para esto ya se han utilizado para producir descendencia frtil en
ratones y clulas de gametos-como en los seres humanos. Retos cientficos sustanciales
siguen siendo, sin embargo, en la traduccin de los resultados de los animales a los seres
humanos y para evitar alteraciones epigenticas en las lneas de clulas madre derivadas.
Segn un experto, estos retos pueden poner aplicaciones humanas "10 o incluso 50 aos
en el futuro." 47 Con gametos derivados de clulas madre, la cantidad de energa
disponible para la seleccin de un par se podra aumentar en gran medida. En la prctica
actual, un procedimiento de fertilizacin in vitro implica normalmente la creacin de
menos de diez embriones. Con gametos derivados de clulas madre, unas pocas clulas
donados pueden ser convertidos en un nmero virtualmente ilimitado de gametos que
pueden ser combinados para producir embriones, que podra ser genotipo o
secuenciados, y los ms prometedores elegido para la implantacin. Dependiendo del
costo de la preparacin y seleccin de cada embrin individual, esta tecnologa podra
producir un aumento de varias veces en el poder selectivo a disposicin de las parejas que
utilizan la fecundacin in vitro. Ms importante an, el tallo gametos derivados de clulas
permitira a mltiples generaciones de seleccin para ser comprimido en menos de un
Los pacientes que son sordos o ciegos podra beneficiarse de cochleae artificial y
pacientes retinas.68 con enfermedad de Parkinson o el dolor crnico podran beneficiarse
de la estimulacin cerebral profunda que excita o inhibe la actividad en un rea particular
de la brain.69 Lo que parece mucho ms difcil de lograr es una interaccin directa de alto
ancho de banda entre el cerebro y el ordenador para proporcionar aumentos sustanciales
en la inteligencia de una forma que no podan alcanzarse ms fcilmente por otros
medios. La mayora de los potenciales beneficios que los implantes cerebrales podran
proporcionar en sujetos sanos se puede obtener en menos riesgo, los gastos y molestias a
travs de nuestro motor regular y rganos de los sentidos para interactuar con los
ordenadores situados fuera de nuestros cuerpos. No necesitamos para conectar un cable
de fibra ptica en nuestro cerebro con el fin de acceder a Internet. No slo puede la retina
humana transmitir datos a una velocidad impresionante de casi 10 millones de bits por
segundo, pero viene pre-empaquetado con una cantidad masiva de wetware dedicado, la
corteza visual, que est altamente adaptada al significado extraer de este torrente de
informacin y para la interconexin con otras reas del cerebro para su posterior
processing.70 Incluso si hubiera una manera fcil de bombear ms informacin en nuestro
cerebro, la entrada de datos adicional hara poco para aumentar la velocidad a la que
pensamos y aprender a no ser que toda la maquinaria neuronal necesaria para dar sentido
a los datos se actualiza de manera similar. Dado que este incluye casi todo el cerebro, lo
que realmente se necesita es una "prtesis total del cerebro - que es slo otra forma de
decir ia fuerte. Sin embargo, si uno tena un nivel AI humana, se podra prescindir de la
neurociruga: una computadora puede ser que tambin tienen una carcasa de metal como
uno de los huesos. As que este caso lmite slo nos lleva de vuelta a la senda de AI, que ya
hemos examinado. Interfaz cerebro-ordenador tambin se ha propuesto como una
manera de obtener informacin fuera del cerebro, para los propsitos de la comunicacin
con otros cerebros o con mquinas.71
Tales enlaces ascendentes han ayudado a pacientes con bloqueado-en el sndrome de
comunicarse con el mundo exterior por lo que les permite mover un cursor en una
pantalla por thought.72 El ancho de banda alcanzado en tales experimentos es baja: el
paciente minuciosamente tipos fuera una letra lenta despus de otras en un ritmo de unas
palabras por minuto. Uno puede imaginar fcilmente versiones mejoradas de esta
tecnologa, tal vez un implante de ltima generacin podra tapar en el rea de Broca (una
regin en el lbulo frontal que participan en la produccin del lenguaje) y recoger
speech.73 interna Pero mientras esta tecnologa podra ayudar a algunas personas con
discapacidades inducidas por accidente cerebrovascular o la degeneracin muscular, se
celebraran poco atractivo para los sujetos sanos. La funcionalidad que proporcionara es
esencialmente la de un micrfono junto con el software de reconocimiento de voz, que ya
est disponible comercialmente-menos el dolor, molestias, gastos, y los riesgos asociados
con la neurociruga (y menos por lo menos algunos de los matices hiper-orwelliana de un
dispositivo de escucha intracraneal). Mantener nuestras mquinas fuera de nuestro
Pero qu pasa con el sueo de pasar por las palabras en
cuerpo tambin hace ms fcil de actualizar.
conjunto y establecer una conexin entre dos cerebros que permite conceptos, pensamientos o reas enteras de la experiencia d e ser
"descargados" de una mente a otra? Podemos descargar archivos de gran tamao a nuestras computadoras, incluyendo bibliotecas con
millones de libros y artculos, y esto se puede hacer a lo largo de segundos: algo similar podra hacerse con nuestro cerebro ? La
aparente plausibilidad de esta idea deriva probablemente de una visin incorrecta de cmo se almacena y se represent en el cerebro
la informacin. Como se ha sealado, el paso limitante de la velocidad en la inteligencia humana no es la rapidez con datos b rutos
pueden ser alimentados en el cerebro, sino ms bien lo rpido que el cerebro puede extraer el significado y dar sentido a los datos. Tal
vez se sugiri que transmitimos significados directamente, en lugar de ellos paquete en datos sensoriales que debe ser decodi ficado
por el receptor. Hay dos problemas con esto. La primera es que el cerebro, a diferencia de los tipos de programa que normalmente se
ejecutan en nuestros ordenadores, no utilizan formatos de almacenamiento y representacin de datos estandarizados. Ms bien, cada
cerebro desarrolla sus propias representaciones idiosincrsicos de contenido de nivel superior. Qu particulares asambleas neuronales
son reclutados para representar un concepto particular depende de las experiencias nicas del cerebro en cuestin (junto con varios
factores genticos y los procesos fisiolgicos estocsticos). Al igual que en las redes neuronales artificiales, es decir, en las redes
neuronales biolgicas es probable representado de manera integral en la estructura y actividad patrones de regiones superpues tas
importantes, no en las clulas de memoria discretos establecidos en matrices ordenadas.
74
Por lo tanto, no sera posible establecer un sencillo mapeo entre las neuronas en
un cerebro y los de otro de tal manera que los pensamientos podran deslizarse
automticamente de uno a otro. A fin de que los pensamientos de un cerebro a ser
inteligible a otro, los pensamientos deben ser descompuesto y empaquetado en smbolos
de acuerdo a alguna convencin compartida que permite a los smbolos que deben ser
interpretadas correctamente por el cerebro de recepcin. Este es el trabajo del lenguaje.
En principio , Uno podra imaginar la descarga del trabajo cognitivo de articulacin e interpretacin de una interfaz que
leera alguna manera los estados neuronales en el cerebro del emis or y de alguna manera de comer en un patrn de medida de
activacin para el cerebro del receptor. Pero esto nos lleva al segundo problema con el escenario de cyborg. Incluso dejando de lado la
(bastante inmensa) desafo tcnico de cmo leer y escribir de forma fiable al mismo tiempo de quizs miles de millones de neuronas
direccionables individualmente, creando la interfaz requerida es probablemente un problema de AI -completo. La interfaz tendra que
incluir un componente de poder (en tiempo real) para trazar patrones de disparo en un cerebro en patrones de descarga
semnticamente equivalentes en el otro cerebro. La comprensin detallada de varios niveles de la computacin neuronal necesar ia
para llevar a cabo tal tarea parece habilitar directamente neuromr fica AI.
A pesar de estas reservas, la ruta hacia la mejora cognitiva cyborg no es del todo
sin promesa. Impresionante trabajo en el hipocampo de ratas ha demostrado la viabilidad
de una prtesis neural que puede mejorar el rendimiento en una tarea de memoria de
trabajo simple.
75
En su versin actual, el implante recoge las aportaciones de una docena o dos
electrodos situados en un rea ("CA3") del hipocampo y proyectos en un nmero similar
de neuronas en otra rea ("CA1"). Un microprocesador est capacitado para discriminar
entre dos patrones de activacin diferentes en la primera zona (correspondiente a dos
memorias diferentes, "palanca derecha" o "palanca izquierda") y para aprender cmo
estos patrones se proyectan en la segunda zona. Esta prtesis no slo puede restaurar la
funcin cuando se bloque la conexin neuronal normal entre las dos reas neuronales,
pero mediante el envo de un token especialmente claro de un patrn particular de la
memoria a la segunda rea que puede mejorar el rendimiento en la tarea de memoria
ms all de lo que la rata es normalmente capaz de hacer. Mientras que un tour de force
tcnico para los estndares contemporneos, el estudio deja muchas preguntas difciles
sin respuesta: Qu tan bien la escala de enfoque para un mayor nmero de recuerdos?
Qu tan bien podemos controlar la explosin combinatoria que de lo contrario amenaza
con hacer que el aprendizaje de la asignacin correcta factible a medida que aumenta el
nmero de neuronas de entrada y salida? El mejor rendimiento en la tarea de prueba
costos de equipos, sino tambin de respuesta latencias, las cargas de tiempo y atencin, y
otros factores), a continuacin, las organizaciones ms grandes y densamente conectado
vuelven factible. Lo mismo podra suceder si no se encuentran soluciones para algunas de
las deformaciones burocrticas que tuercen juegos de estado de organizacin de la vida
derrochador, ampliacin de la misin, ocultacin o falsificacin de informacin, y otros
problemas de agencia. Incluso las soluciones parciales para estos problemas podran pagar
dividendos jugosos para la inteligencia colectiva. Las innovaciones tecnolgicas e
institucionales que podran contribuir al crecimiento de nuestra inteligencia colectiva son
muchas y variadas. Por ejemplo, los mercados de prediccin subvencionados podran
fomentar normas que buscan la verdad y mejorar la previsin sobre cuestiones cientficas y
sociales polmicos.78 Detectores de mentiras (cuando resulte factible hacer los que son
fiables y fciles de usar) podra reducir las posibilidades de engao en los detectores de
autoengao affairs.79 humanos podran ser an ms powerful.80 Incluso sin tecnologas
cerebrales novedosos, algunas formas de engao podra llegar a ser ms difcil de
practicar gracias a una mayor disponibilidad de muchos tipos de datos, incluyendo la
reputacin y trayectoria, o la promulgacin de fuertes normas epistmicas y la cultura
racionalidad. Vigilancia voluntaria e involuntaria se amasar grandes cantidades de
informacin sobre el comportamiento humano. Las redes sociales ya son utilizados por
ms de mil millones de personas para compartir datos personales: en breve, estas
personas podran comenzar a subir las grabaciones continuas de vida de los micrfonos y
las cmaras de vdeo incorporados en sus telfonos inteligentes o los marcos de anteojos.
El anlisis automatizado de dichos flujos de datos permitir a muchas aplicaciones nuevas
(siniestros, as como benignos, por supuesto) 0.81
El crecimiento de la inteligencia colectiva tambin puede provenir de mejoras
organizativas y econmicas ms generales, y de la ampliacin de la fraccin de la
poblacin mundial que se educ, conectado digitalmente, e integrado en la cultura
intelectual global.
82 El Internet se destaca como una frontera particularmente
dinmico para la innovacin y la experimentacin. La mayor parte de su potencial todava
pueden permanecer sin explotar. Continuando con el desarrollo de una web inteligente,
con un mejor soporte para la deliberacin, de empuje-DE, y la agregacin juicio, podra
hacer grandes contribuciones al aumento de la inteligencia colectiva de la humanidad en
su conjunto o de grupos particulares.
Pero qu hay de la idea aparentemente ms fantasiosa que Internet podra algn
da estela
arriba "? Podra el Internet convertirse en algo ms que la columna vertebral de una
superinteligencia, algo vagamente colectiva integrada ms como un crneo virtual de la
vivienda un emergente super-inteligencia unificada? (Esta fue una de las formas en que la
superinteligencia podra surgir de acuerdo con la influyente 1993 el ensayo de Vernor
Vinge, que acu el trmino "singularidad tecnolgica". 83) Contra ste podra objetar
que la inteligencia artificial es bastante difcil de lograr a travs ardua ingeniera, y que es
increble suponer que surgir
espontneamente. Sin embargo, la historia no tiene
por qu ser que algunos futura versin de Internet de repente se convierte en
superinteligente por mera casualidad. Una versin ms plausible del escenario sera que el
Internet se acumula mejoras gracias al trabajo de muchas personas durante muchos aos
el trabajo de disear mejor la bsqueda y filtrado de informacin, algoritmos ms
potentes formatos de representacin de datos, agentes de software autnomas ms
capaces, y los protocolos ms eficientes que rige las interacciones entre estos robots-y que
las mejoras incrementales mirada finalmente crear la base de alguna forma ms unificada
de la inteligencia web. Parece por lo menos concebible que un sistema cognitivo basado en
la web tales, sobresaturada con potencia de los ordenadores y todos los dems recursos
necesarios para un crecimiento explosivo salvo por un ingrediente fundamental, podra,
cuando el componente faltante final se dej caer en el caldero, arder con
superinteligencia. Este tipo de escenario, sin embargo, converge en otro posible camino
hacia la superinteligencia, el de inteligencia general artificial, que ya hemos discutido.
Resumen
El hecho de que hay muchos caminos que conducen a la superinteligencia debera
aumentar nuestra confianza en que vamos a llegar con el tiempo. Si un camino resulta ser
bloqueado, todava podemos avanzar.
Que hay varias rutas no implica que hay mltiples destinos. Incluso si la
amplificacin de inteligencia significativa se logra primero a lo largo de uno de los caminos
no-mquina de inteligencia, esto no hara que la inteligencia artificial irrelevante. Todo lo
contrario: una mayor inteligencia biolgica u organizacional aceleraran los avances
cientficos y tecnolgicos, lo que podra acelerar la llegada de las formas ms radicales de
amplificacin de la inteligencia como la emulacin de todo el cerebro y la IA. Esto no
quiere decir que es indiferente cmo se llega a la mquina superinteligencia. El camino
recorrido para llegar all podra hacer una gran diferencia en el resultado final. Incluso si
las capacidades finales que se obtienen no dependen tanto de la trayectoria, cmo se
utilizarn-how esas capacidades tanto control que los seres humanos tienen so bre su
disposicin, bien podra depender de los detalles de nuestro enfoque. Por ejemplo, las
mejoras de la inteligencia biolgica o de organizacin podran aumentar nuestra
capacidad para anticipar riesgos y disear superinteligencia mquina que es seguro y
beneficioso. (Una evaluacin estratgico implica muchas complejidades, y tendr que
esperar el captulo 14.) Verdadero superinteligencia (en contraposicin a aumentos
marginales en los niveles actuales de inteligencia) podra plausiblemente primero ser
alcanzado a travs de la ruta de AI. Hay, sin embargo, muchas incertidumbres
fundamentales a lo largo de este camino. Esto hace que sea difcil evaluar rigurosamente
el tiempo que el camino es o cuntos obstculos que hay en el camino. El camino de
emulacin de todo el cerebro tambin tiene alguna posibilidad de ser la ruta ms rpida a
superinteligencia. Desde el progreso a lo largo de este camino requiere avances
tecnolgicos principalmente incrementales en lugar de avances tericos, un caso fuerte
puede hacer que con el tiempo tener xito. Parece bastante probable, sin embargo, que
incluso si el progreso a lo largo de toda la ruta de emulacin de cerebro es rpido,
la inteligencia artificial, sin embargo, ser el primero en cruzar la lnea de llegada: est o es
debido a la posibilidad de neuromrfica IA basado en emulaciones parciales.
Mejoras cognitivas biolgicos son claramente factible, especialmente los basados en la
seleccin gentica. La seleccin de embriones Iterated actualmente parece una tecnologa
especialmente prometedora. En comparacin con los posibles avances en la inteligencia
de la mquina, sin embargo, las mejoras biolgicas seran relativamente lenta y gradual.
Ellos, a lo sumo, dar lugar a formas relativamente dbiles de superinteligen cia (ms sobre
esto en breve).
La clara posibilidad de mejora biolgica debera aumentar nuestra confianza en que la
inteligencia artificial es en ltima instancia, alcanzables, ya que los cientficos e ingenieros
humanos mejorados sern capaces de hacer ms y ms rpido progreso de su au
naturel
contrapartes. Especialmente en escenarios en los que la inteligencia artificial se retrasa
ms all de mediados de siglo, las cohortes cada vez cognitivamente mejoradas prximos
escenario jugarn un papel creciente en la evolucin posterior. Ven poco probable
interfaces cerebro-ordenador como fuente de superinteligencia. Las mejoras en las redes y
organizaciones podran dar lugar a formas dbilmente superinteligentes de la inteligencia
colectiva en el largo plazo; pero lo ms probable es que van a jugar un papel facilitador
similar a la de la mejora cognitiva biolgica, poco a poco la capacidad efectiva el aumento
de la humanidad para resolver problemas intelectuales. En comparacin con las mejoras
biolgicas, los avances en las redes y la organizacin har una diferencia antes-de hecho,
estos avances se estn produciendo continuamente y estn teniendo un impacto
significativo ya. Sin embargo, las mejoras en las redes y organizaciones pueden dar ms
estrechos aumentos en nuestra capacidad de resolucin de problemas de mejoras en la
"inteligencia colectiva" cognicin-que alza biolgica en lugar de "inteligencia de calidad",
para anticipar una distincin que estamos a punto de introducir en el prximo captulo.
CAPTULO 3
Formas de superinteligencia
Entonces, qu es, exactamente, qu entendemos por "superinteligencia"? Si bien no
deseamos empantanarse en pantanos terminolgicas, algo que hay que decir para aclarar
el terreno conceptual. Este captulo identifica tres formas diferentes de superinteligencia,
y argumenta que son, en un sentido relevante en la prctica, equivalente. Tambin
muestran que el potencial de inteligencia en un sustrato mquina es mucho mayor que en
un sustrato biolgico. Mquinas tienen una serie de ventajas fundamentales que les dar
la superioridad abrumadora. Los humanos biolgicos, aunque ha mejorado, sern
Muchas mquinas y animales no humanos ya realizan a niveles sobrehumanos en dominios estrechos.
superados.
Murcilagos interpretan seales de sonar mejor que el hombre, calculadoras nos superan en aritmtica, y los programas de ajedrez nos
golpearon en el ajedrez. La gama de tareas especficas que pueden ser mejor realizado por el software continuar expandindos e. Pero
aunque los sistemas especializados de procesamiento de informacin tendrn muchos usos, hay cuestiones profundas adicionales que
surgen slo con la perspectiva de intelectos mquinas que tienen suficiente inteligencia general para sustituir a los humanos a travs
del tablero.
8
Para obtener un colectivo superinteligencia desde cualquier actual de la inteligencia
colectiva requerira un muy alto grado de mejora. El sistema resultante tendra que ser
capaz de enormemente superando cualquier corriente inteligencia colectiva u otro
sistema cognitivo a travs de muchos dominios muy generales. Un nuevo formato de la
conferencia que permite a los investigadores intercambiar informacin de manera ms
eficaz, o un nuevo algoritmo de filtrado de informacin colaborativa que las calificaciones
de los usuarios de los libros y las pelculas mejor predijo, claro que no hara en su propia
cantidad de algo parecido a superinteligencia colectiva. Tampoco sera un aumento del
50% en la poblacin mundial, o una mejora en el mtodo pedaggico que permiti a los
estudiantes para completar un da de clases en cuatro horas en lugar de seis. Algunos
mucho ms extremo crecimiento de la capacidad cognitiva colectiva de la humanidad
estara obligado a cumplir con el criterio de la superinteligencia colectiva.
Tenga en cuenta que el umbral para la superinteligencia colectiva est indexado a los
niveles de rendimiento de la presente, es decir, a principios del siglo XXI. A lo largo de la
prehistoria humana, y otra vez a lo largo de la historia humana, la inteligencia colectiva de
la humanidad
tiene crecido por factores muy grandes. La poblacin mundial, por ejemplo, ha
aumentado por lo menos un factor de mil desde que el Pleistocene.9 Sobre esta base, los
niveles actuales de la inteligencia colectiva humana podan considerarse superinteligencia
acercarse
en relacin con una lnea de base Pleistoceno
. Algunas mejoras en comunicaciones
tecnologas -especialmente hablan el idioma, pero tal vez tambin las ciudades, la
escritura y la impresin a tambin podra ser argumentado que tener, de forma individual
o en combinacin, siempre aumenta sper grandes, en el sentido de que si otra innovacin
de impacto comparable al nuestro colectiva capacidad de resolucin de problemas
intelectuales fueron a pasar, que dara lugar a superintelligence.10 colectiva
Un cierto tipo de lector se ver tentado a este punto interponer que la sociedad
moderna no parece tan particularmente inteligente. Tal vez algunos de decisiones
polticas no deseado solo se ha hecho en el pas de origen del lector, y la aparente falta de
sabidura de esa decisin ahora ocupa un lugar preponderante en la mente del lector
como evidencia de la incapacidad mental de la era moderna. Y no es el caso de que la
humanidad contempornea est idolatrando el consumo de materiales, agotamiento de
los recursos naturales, la contaminacin del medio ambiente, diezmando a la diversidad
de especies, a la vez que al no remediar gritando injusticias globales y dejar de lado los
valores humansticos o espirituales supremos? Sin embargo, dejando de lado la cuestin
de cmo se apilan las deficiencias de la modernidad contra las fallas no tan despreciables
de pocas anteriores, no hay nada en nuestra definicin de superinteligencia colectiva
implica que una sociedad con una mayor inteligencia colectiva es necesariamente mejor.
La definicin ni siquiera implica que la sociedad ms inteligente es colectivamente
ms sabio
. Podemos pensar en la sabidura como la capacidad de conseguir las cosas
importantes aproximadamente derecha. Entonces es posible imaginar una organizacin
compuesta de un gran grupo de trabajadores del conocimiento muy coordinados de
manera eficiente, que en conjunto pueden resolver problemas intelectuales a travs de
muchos dominios muy generales. Esta organizacin, supongamos, puede operar la
mayora de los tipos de empresas, inventar la mayora de tipos de tecnologas, y optimizar
la mayora de los tipos de procesos. An as, podra conseguir algunas cuestiones clave de
gran imagen totalmente equivocada ejemplo-para, puede dejar de tomar las precauciones
adecuadas contra los riesgos existenciales-y como resultado perseguir un corto perodo de
crecimiento explosivo que termina sin gloria en el colapso total. Tal organizacin podra
tener un alto grado de inteligencia colectiva; si es lo suficientemente alta, la organizacin
es una superinteligencia colectiva. Debemos resistir la tentacin de tirar todos los
atributos normativamente deseable en un concepto amorfo gigante del funcionamiento
mental, como si uno nunca podra encontrar un rasgo admirable sin todos los otros son
igualmente presentes. En su lugar, debemos reconocer que no puede existir
instrumentalmente poderosos sistemas de procesamiento de informacin-que los
sistemas inteligentes no son ni buenos ni inherentemente fiable sabio. Pero vamos a
examinar esta cuestin en el captulo 7.
Superinteligencia colectiva podra ser vagamente o estrechamente integrada. Para
distinguir
una
tercera
forma
de
Superinteligencia Calidad: Un sistema que es al menos tan rpido como una mente
humana y cualitativamente muy inteligente.
Al igual que con la inteligencia colectiva, la calidad de la inteligencia es tambin un
concepto un tanto turbia; y en este caso la dificultad se ve agravada por nuestra falta de
experiencia con cualquier variacin en la calidad de inteligencia por encima del extremo
superior de la distribucin actual humano. Podemos, sin embargo, conseguir un poco de
comprensin de la nocin considerando algunos casos relacionados.
En primer lugar, podemos ampliar la gama de nuestros puntos de referencia
teniendo en cuenta los animales no humanos, que tienen la inteligencia de menor calidad.
(Esto no se entiende como una observacin especista Un pez cebra tiene una cualidad de
la inteligencia que se adapta excelentemente a sus necesidades ecolgicas, pero la
perspectiva relevante aqu es una ms antropocntrica uno:. Nuestra preocupacin es con
el rendimiento en humanamente . tareas cognitivas complejas pertinentes) Los animales no
humanos carecen de lenguaje estructurado complejo; que son capaces de ninguna o slo
el uso de herramientas rudimentarias y la construccin de la herramienta; que estn
severamente restringidos en su capacidad de hacer planes a largo plazo; y tienen la
capacidad de razonamiento abstracto muy limitada. Tampoco son estas limitaciones
plenamente explicadas por la falta de velocidad o de la inteligencia colectiva entre las
mentes de los animales no humanos. En trminos de potencia de clculo en bruto, los
independientemente verificables: los problemas que, por tanto, no pueden ser resuelt os
de una manera gradual , y que podra requerir cualitativamente nuevos tipos de
entendimiento o nuevos marcos de representacin que son demasiado profunda o
demasiado complicado para la presente edicin de los mortales para descubrir o usar de
manera efectiva. Algunos tipos de la creacin artstica y la cognicin estratgica podran
caer en esta categora. Algunos tipos de avance cientfico, tal vez, lo mismo. Y uno puede
especular que la tardanza y el tambaleo del progreso de la humanidad en muchos de lo s
"problemas eternos" de la filosofa se deben a la falta de adaptacin de la corteza humana
para el trabajo filosfico. En este punto de vista, nuestros filsofos ms clebres son como
perros caminando sobre sus patas traseras, justo apenas alcanzar el ni vel de umbral de
rendimiento requerido para el ejercicio de la actividad en absoluto
0.18 Fuentes de ventaja para inteligencia digital Pequeos cambios en el volumen
cerebral y el cableado pueden tener importantes consecuencias, como vemos cuando
comparamos los logros intelectuales y tecnolgicos de los seres humanos con los de otros
simios. Los mucho mayores cambios en los recursos informticos y la arquitectura que la
inteligencia de la mquina permitir probablemente tendr consecuencias que son an
ms profunda. Es difcil, quizs imposible, para nosotros formamos un sentido intuitivo de
las aptitudes de una superinteligencia; pero al menos podemos obtener una idea del
espacio de posibilidades examinado algunas de las ventajas abiertas a las mentes di gitales.
Las ventajas de hardware son ms fciles de apreciar:
Nmero de elementos computacionales . El cerebro humano tiene un poco menos de
100 mil millones neurons.23 Los humanos tienen tiempos de alrededor de tres y medio el
tamao del cerebro de los chimpancs (aunque slo una quinta parte del tamao del
cerebro de los cachalotes) 0.24 El nmero de neuronas en una criatura biolgica es ms
obviamente limitados por volumen craneal y limitaciones metablicas, pero otros factores
tambin pueden ser significativas para los cerebros ms grandes (como la refrigeracin, el
tiempo de desarrollo, y seal de conductancia retrasos ver el punto anterior). Por el
contrario, el hardware es indefinidamente escalable hasta muy altas supercomputadores
limits.25 fsicos pueden ser almacn de tamao o ms grande, con capacidad remoto
adicional aadido a travs cables.26 alta velocidad
Capacidad de almacenamiento
. Memoria de trabajo humano es capaz de mantener
no ms de cuatro o cinco trozos de informacin en cualquier tiempo.27 dada Aunque sera
errneo comparar el tamao de la memoria de trabajo humano directamente con la
cantidad de RAM en una computadora digital, es evidente que las ventajas del hardware
de inteligencias digitales harn posible para ellos tener memorias de trabajo ms grandes.
Esto podra permitir que esas mentes para entender intuitivamente las complejas
relaciones que los seres humanos slo pueden manejar a travs de tientas perseverante
calculation.28 memoria a largo plazo humano tambin es limitada, aunque no est claro si
logramos agotar su capacidad de almacenamiento durante el curso de una vida- ordinaria
la velocidad a la que acumulamos informacin es tan lento. (En una estimacin, los
adultos tiendas humanos cerebrales unos mil millones de bits-un par de rdenes de
magnitud menos de un smartphone.29 de gama baja) Tanto la cantidad de informacin
almacenada y la velocidad con la que se puede acceder por lo tanto podra ser
inmensamente mayor en un cerebro de la mquina que en un cerebro biolgico.
La fiabilidad, vida til, los sensores, etc.. Inteligencias Mquina podran tener varias otras
ventajas de hardware. Por ejemplo, las neuronas biolgicas son menos fiables que
transistors.30 Desde ruidosa computing requiere esquemas de codificacin redundantes
que utilizan mltiples elementos para codificar un solo bit de informacin, un cer ebro
digital podra derivar algunas mejoras en la eficiencia de la utilizacin de elementos de
computacin de alta precisin fiables. Los cerebros se fatigan despus de unas horas de
trabajo y comienzan a decaer de forma permanente despus de unas dcadas de tiempo
subjetivo; microprocesadores no estn sujetos a estas limitaciones. El flujo de datos en
una inteligencia de la mquina podra aumentarse mediante la adicin de millones de
sensores. Dependiendo de la tecnologa utilizada, una mquina podra tener hardware
reconfigurable que puede ser optimizado para cambiar requisitos de la tarea, mientras
que gran parte de la arquitectura del cerebro se fija desde el nacimiento o lentamente
cambiante (aunque los detalles de la conectividad sinptica pueden cambiar en escalas de
tiempo ms cortos, como das ) 0,31 En la actualidad, el poder computacional del cerebro
biolgico todava se compara favorablemente con el de las computadoras digitales,
aunque ms alto de la lnea de superordenadores estn alcanzando niveles de
rendimiento que estn dentro del rango de estimaciones plausibles de potencia de
procesamiento del cerebro.32 Pero el hardware est mejorando rpidamente, y los lmites
ltimos de rendimiento del hardware son muy superiores a las de los sustratos b iolgicos
de computacin.
Mentes digitales tambin se beneficiarn de importantes ventajas en el software:
El intercambio de memoria
. Cerebros biolgicos necesitan largos perodos de formacin y tutora mientras mentes
digitales podran adquirir nuevos recuerdos y habilidades mediante el canje de los
archivos de datos. Una poblacin de mil millones de copias de un programa de IA podra
sincronizar sus bases de datos peridicamente, de modo que todas las instancias del
programa saben todo lo que cualquier instancia aprendi durante la hora anterior.
(Transferencia de memoria directa requiere formatos de representacin estandarizados.
Fcil intercambio de alto nivel de contenido cognitivo sera, por tanto, no sea posible
entre cualquier par de inteligencias de la mquina. En particular, no sera posible entre la
primera generacin de emulaciones de todo el cerebro.) Nuevos
mdulos,
modalidades, y algoritmos
. La percepcin visual nos parece fcil y sin esfuerzo, bastante a diferencia de la solucin
de problemas-Esta geometra libro de texto a pesar del hecho de que se necesita una
cantidad masiva de clculo para reconstruir, a partir de los patrones bidimensionales de
estimulacin en nuestras retinas, una representacin tridimensional de una mundo
poblado de objetos reconocibles. La razn de esto parece fcil es que hemos dedicado
maquinaria neural de bajo nivel para el procesamiento de la informacin visual. Este
procesamiento de bajo nivel se produce inconscientemente y de forma automtica, sin
necesidad de vaciar nuestra energa mental o atencin consciente. La percepcin de la
msica, el uso del lenguaje, la cognicin social, y otras formas de procesamiento de la
informacin que son "naturales" para nosotros los seres humanos parecen estar
igualmente con el apoyo de los mdulos neurocomputacionales dedicados. Una mente
artificial que tena ese apoyo especializado para otros dominios cognitivos que se han
convertido en importante en el mundo contemporneo, como la ingeniera, programacin
de computadoras, y estrategia de negocio podra tener grandes ventajas sobre las mentes
como las nuestras que tienen que depender de la cognicin torpe de propsito general
para pensar en esas cosas. Nuevos algoritmos tambin pueden ser desarrollados para
aprovechar las distintas affordances de hardware digital, como su apoyo para el
procesamiento en serie rpido.
La
por ltimo ventajas posibles de mquina de inteligencia, hardware y software combinados, se enormous.33 Pero la
rapidez con que se podan realizar esas ventajas potenciales? Esa es la pregunta a la que nos dirigimos ahora.
ao 2014, por ejemplo, aunque las capacidades de los individuos humanos deberan haber
aumentado en los aos intermedios): esto sera marcar el inicio de la despegue. Las
capacidades del sistema siguen creciendo, y en algn momento ms tarde, el sistema
alcanza la paridad con la capacidad combinada intelectual de toda la humanidad (de
nuevo anclado en el presente): lo que podramos llamar la "lnea de base la civilizacin".
Eventualmente, si las capacidades del sistema siguen creciendo, alcanza "superinteligencia
fuerte", un nivel de inteligencia muy superior a medios intelectual combinado de la
humanidad contempornea. El logro de fuerte superinteligencia marca la finalizacin del
despegue, aunque el sistema podra continuar ganancia en la capacidad a partir de
entonces. En algn momento durante la fase de despegue, el sistema puede pasar a un
punto de referencia que podemos llamar "el cruce", un punto ms all del cual una mejora
adicional del sistema es impulsado principalmente por las propias acciones del sistema en
lugar de por el trabajo realizado sobre l por otros.1 (La posible existencia de un crossover
como ser importante en la subseccin sobre el poder y la optimizacin de explosividad,
ms adelante en este captulo).
para deliberar. Nadie tiene por qu siquiera not algo inusual antes de que el juego ya
est perdida. En un escenario de despegue rpido, el destino de la humanidad depende
esencialmente de las preparaciones puestas previamente en su lugar. Al final ms len to de
la gama escenario despegue rpido, algunas acciones humanas simples podran ser
posibles, anloga a chasquear abierta la "maleta nuclear"; pero dicha accin podra ser
tanto primaria o se han planificado y pre-programado con antelacin.
Moderado
Un despegue moderada es uno que se produce durante un cierto intervalo temporal
intermediario, como meses o aos. Escenarios despegue moderados dan los humanos
alguna oportunidad de responder, pero no mucho tiempo para analizar la situacin, para
probar diferentes enfoques, o para resolver complicados problemas de coordinacin. No
hay tiempo suficiente para desarrollar o implementar nuevos sistemas (por ejemplo, los
sistemas polticos, los regmenes de vigilancia, o protocolos de seguridad de red del
ordenador), pero los sistemas existentes se podra aplicar al nuevo desafo.
Durante un despegue lento, no habra tiempo de sobra para las noticias de salir. En un
despegue moderado, por el contrario, es posible que los acontecimientos se mantienen en
secreto, ya que se desarrollan. El conocimiento puede ser restringida a un pequeo grupo
de iniciados, como en un programa de investigacin militar patrocinada por el Estado
encubierta. Proyectos comerciales, pequeos equipos acadmicos, y "nueve hackers en un
stano" trajes tambin podran ser clandestina, sin embargo, si la perspectiva de una
explosin de inteligencia estaban "en el radar" de los organismos de inteligencia del
Estado como una prioridad de seguridad nacional, el ms prometedor proyectos privados
parecen tener una buena oportunidad de estar bajo vigilancia. El Estado de acogida (o una
potencia extranjera dominante) tendran la opcin de nacionalizar o cerrar cualquier
proyecto que mostr signos de comenzar el despegue. Despegues rpidos se suceden tan
rpidamente que no habra mucho tiempo para la palabra para salir o para cualquiera de
montar una reaccin significativa si lo hiciera. Pero un extrao podra intervenir antes
el inicio de la toma si se cree un proyecto en particular que se acerca a xito.
Escenarios despegue moderados podran conducir a la turbulencia geopoltica, social y
econmica, como individuos y grupos jinete posicionarse para ganar de la transformacin
se desarrolla. Tal agitacin, en caso de producirse, podra obstaculizar los esfuerzos para
orquestar una respuesta bien compuesta; alternativamente, podra permitir a soluciones
ms radicales que las circunstancias ms tranquilas permitiran. Por ejemplo, en un
escenario donde el despegue moderada emulaciones baratos y capaces u otras mentes
digitales inundan gradualmente los mercados de trabajo en un perodo de aos, uno
podra imaginar protestas masivas por los trabajadores despedidos que presionan a los
gobiernos para aumentar las prestaciones por desempleo o instituir una ga ranta de
salario digno a todos los ciudadanos humanos, o para recaudar impuestos especiales o
impongan requisitos de salario mnimo a los empleadores que utilizan los trabajadores de
emulacin. Para que cualquier alivio derivado de este tipo de polticas a ser ms que
fugaz, apoyo para ellos tendra alguna manera ser cimentado en las estructuras de poder
permanente. Problemas similares pueden surgir si el despegue es lento y no moderado,
pero el desequilibrio y rpido cambio en escenarios moderados pueden presentar
oportunidades especiales para grupos pequeos de ejercer una influencia
desproporcionada.
Podra parecer a algunos lectores que de estos tres tipos de escenario, el lento despegue
es la ms probable, el despegue moderada es menos probable, y el despegue rpido es
totalmente inverosmil. Podra parecer descabellado suponer que el mundo poda ser
transformado radicalmente y la humanidad depuesto de su posicin como cogitator pice
en el transcurso de una hora o dos. Sin cambio de tal momento nunca ha ocurrido en la
historia humana, y sus paralelos -el ms cercanas Industrial Agrcola y Revoluciones jugado
a lo largo de escalas de tiempo mucho ms largos (siglos a milenios en el primer caso, las
dcadas de siglos en el segundo). As que la tasa base para el tipo de transicin que
entraa un escenario despegue rpido o medio, en trminos de la velocidad y magnitud
del cambio postulado, es cero: carece precedente fuera el mito y la religin. 2
Sin
embargo, este captulo presentar algunas razones para pensar que el escenario de
transicin lenta es improbable. Si y cuando se produce un despegue, es probable que sea
explosivo.
Para comenzar a analizar la cuestin de qu tan rpido ser el despegue, podemos
concebir la tasa de aumento de la inteligencia de un sistema como una funcin
(montonamente creciente) de dos variables: la cantidad de "poder de optimizacin", o el
diseo de calidad ponderada esfuerzo, que se aplica para aumentar la inteligencia del
sistema, y la capacidad de respuesta del sistema a la aplicacin de una cantidad dada de
tal poder de optimizacin. Nos podramos llamar el inverso de la capacidad de respuesta
"recalcitrante", y escribir:
cerebro. Las dificultades para la creacin de la primera de emulacin humana son de un tipo muy diferente de los que participan en la
mejora de una emulacin existente. Creacin de una primera emulacin implica enormes desafos tecnolgicos, particularmente e n lo
que se refiere al desarrollo de las capacidades de escaneo y la interpretacin de imgenes necesarias. Este paso tambin podra
requerir cantidades considerables de parque mquina fsica -un capital a escala industrial con cientos de mquinas de escaneo de alto
rendimiento no es inverosmil. Por el contrario, la mejora de la calidad de una emulacin existente implica afinando algoritmo s y
estructuras de datos: esencialmente un problema de software, y que podra llegar a ser mucho ms fcil que el perfeccionamien to de la
tecnologa de imagen necesaria para crear la plantilla original. Los programadores pueden experimentar fcilmente con trucos como
aumentar el nmero de neuronas en diferentes reas corticales para ver cmo afecta el rendimiento.
7
Tambin podran trabajar en la optimizacin de cdigo y en la bsqueda de modelos
computacionales ms simples que conservan la funcionalidad esencial de las neuronas
individuales o pequeas redes de neuronas. Si el ltimo requisito tecnolgico a caer en su
lugar es ya sea escaneado o la traduccin, con potencia de clculo es relativamente
abundante, entonces no se podra haber prestado mucha atencin durante la fase de
desarrollo a la eficiencia de puesta en prctica, y fciles oportunidades de ahorro de
eficiencia computacional podra estar disponible. (Reorganizacin arquitectnica ms
fundamental tambin podra ser posible, pero eso nos lleva fuera del camino emulacin y
en territorio AI.)
Otra forma de mejorar la base de cdigo una vez que el primero de emulacin se ha
producido es escanear cerebros adicionales con diferentes o superiores habilidades y
talentos. Crecimiento de la productividad tambin se producira como consecuencia de la
adaptacin de las estructuras organizativas y los flujos de trabajo de los atributo s nicos
de mentes digitales. Puesto que no hay precedentes en la economa humana de un
trabajador que se puede, literalmente copiada, reset, dirigido a diferentes velocidades, y
as sucesivamente, los directivos de la primera cohorte de emulacin encontra ran un
montn de espacio para la innovacin en las prcticas de gestin.
Despus de la cada de un principio, cuando la emulacin de todo el cerebro humano se
convierte en posible, la obstinacin puede subir de nuevo. Tarde o temprano, las
ineficiencias de puesta en prctica ms evidentes se han optimizado de distancia, las
variaciones algortmicas ms prometedores se han probado y se han aprovechado las
oportunidades ms fciles para la innovacin organizacional. La biblioteca de plantillas se
han ampliado de forma que la adquisicin de ms escneres cerebrales aadira poco
beneficio sobre el trabajo con las plantillas existentes. Desde una plantilla se puede
multiplicar, cada copia puede ser entrenado individualmente en un campo diferente, y
esto se puede hacer a una velocidad electrnico, podra ser que el nmero de cerebros
que tendran que ser escaneada con el fin de capturar la mayor parte del potencial
econmico ganancias es pequeo. Posiblemente un solo cerebro sera suficiente.
Otra posible causa de la escalada de la obstinacin es la posibilidad de que las
emulaciones o sus partidarios biolgicos organizarn para apoyar normas que restringen
el uso de los trabajadores de emulacin, lo que limita la copia de emulacin, que prohbe
ciertos tipos de experimentacin con mentes digitales, instituir derechos de los
trabajadores y un salario mnimo para las emulaciones , etcetera. Es igualmente posible,
sin embargo, que los acontecimientos polticos iran en la direccin opuesta, lo que
para hacer mejoras algortmicas en la primera IA que alcanza un nivel ms o menos humana de la inteligencia general. Hay por lo
menos en algunas circunstancias posibles en las que algoritmo de obstinacin es baja. Pero incluso si algoritmo de obstinaci n es muy
alta, esto no excluye la obstinacin general de la AI de que se trata de ser baja. Para ello podra ser fcil de aumentar la inteligencia del
sistema de otras maneras que al mejorar sus algoritmos. Hay otros dos factores que se pueden mejorar: contenido y hardware.
En primer lugar, tenga en cuenta las mejoras de contenido. Por "contenido" que
aqu referimos a aquellas partes de los activos de software de un sistema que no integran
su arquitectura algortmica ncleo. Contenido podra incluir, por ejemplo, las bases de
datos de percepciones almacenados, bibliotecas habilidades especializadas, e inventarios
de conocimiento declarativo. Para muchos tipos de sistema, la distincin entre la
arquitectura algortmica y contenido es muy unsharp; sin embargo, servir como una
manera spera y lista de apuntar a una fuente potencialmente importante de las
ganancias de capacidad en una inteligencia artificial. Una forma alternativa de expresar la
misma idea es diciendo que la capacidad de resolucin de problemas intelectual de un
sistema se puede mejorar no slo haciendo que el ms inteligente del sistema, sino
tambin mediante la ampliacin de lo que el sistema sabe.
Figura 8
A escala menos antropomrfica? La diferencia entre un tonto y una persona inteligente
puede parecer grande desde una perspectiva antropocntrica, sin embargo, en una visin
menos parroquial los dos tienen minds.9 casi indistinguibles Es casi seguro que demostrar
ms y tomar ms tiempo para construir una inteligencia artificial que tiene un nivel
general de elegancia comparable a la de un tonto del pueblo que mejorar un sistema de
este tipo para que sea mucho ms inteligente que cualquier humano.
Considere un sistema de inteligencia artificial contempornea como TextRunner (un
proyecto de investigacin en la Universidad de Washington) o Watson de IBM (el sistema
que gan el Jeopardy! programa de preguntas y respuestas). Estos sistemas pueden
extraer ciertas piezas de informacin semntica mediante el anlisis de texto. Aunque
estos sistemas no entienden lo que leen en el mismo sentido o en la misma medida que lo
hace un ser humano, no obstante pueden extraer cantidades significativas de informacin
de lenguaje natural y utilizar esa informacin para hacer inferencias sencillas y contestar
preguntas. Tambin pueden aprender de la experiencia, la construccin de ms amplias
representaciones de un concepto que se encuentran con casos adicionales de su uso. Estn
diseados para operar durante gran parte del tiempo en modo sin supervisin (es decir, de
aprender estructura oculta en los datos marcados en ausencia de error o seal de
recompensa, sin la gua humano) y para ser rpido y escalable. TextRunner, por ejemplo,
trabaja con un corpus de 500 millones pages.10 web Ahora imagine un descendiente
remoto de un sistema de este tipo que ha adquirido la capacidad de leer la mayor cantidad
de conocimiento como un ser humano de diez aos de edad, pero con una velocidad de
lectura similar a la de TextRunner. (Esto es probablemente un problema AI-completo.), As
que estamos imaginando un sistema que cree mucho ms rpido y tiene mucho mejor
memoria que un adulto humano, pero sabe mucho menos, y tal vez el efecto neto de esto
es que el sistema es ms o menos humana -equivalente en su capacidad de resolucin de
problemas en general. Pero su obstinacin contenido es muy bajo-bajo lo suficiente para
de las instancias del software que se ejecute de forma simultnea. La aparicin de servicios
de cloud computing ofrece un proyecto de la opcin de ampliar sus recursos
computacionales sin tener que esperar a que los nuevos ordenadores para ser entregado e
instalado, aunque las preocupaciones sobre el secreto pueden favorecer el uso de las
computadoras en la casa. (En ciertas situaciones, la potencia de clculo tambin podra
obtenerse por otros medios, como por botnets requisar.13) Qu tan fcil sera para escalar
el sistema por un factor determinado depende de la cantidad de potencia de clculo el
sistema inicial utiliza. Un sistema que se ejecuta inicialmente en un PC podra hacerse a
escala por un factor de miles de millones de dlares tan slo. Un programa que se ejecuta
en un superordenador sera mucho ms caro a escala.
En el corto plazo un poco ms largo, el costo de adquirir hardware adicional puede ser
impulsado como una porcin creciente de la capacidad instalada en el mundo se utiliza
para ejecutar mentes digitales. Por ejemplo, en un escenario de emulacin basada en el
mercado competitivo, el costo de funcionamiento de una copia adicional de una
emulacin debe elevarse a ser aproximadamente igual a los ingresos generados por la
copia marginal, ya que los inversionistas pujaron el precio de infraestructura informtica
existente para que coincida con el regresan que esperan de su inversin (aunque si un
solo proyecto ha dominado la tecnologa que podra ganar un grado de poder de
monopsonio en el mercado de potencia de clculo y por lo tanto pagar un precio ms
bajo).
Durante un plazo de tiempo un poco ms largo, se ha instalado el suministro de potencia
de clculo crecer a medida que la nueva capacidad. Un aumento de la demanda
estimulara la produccin en las fundiciones de semiconductores existentes y estimular la
construccin de nuevas plantas. (Un aumento de rendimiento de una sola vez, tal vez por
un importe de uno o dos rdenes de magnitud, tambin puede obtenerse mediante el uso
de microprocesadores personalizados.
14
) Por encima de todo, la creciente ola de mejoras tecnolgicas derramar volmenes
crecientes de potencia de clculo en las turbinas de las mquinas pensantes.
Histricamente, la tasa de mejora de la tecnologa de la computacin ha sido descrito por
la ley de la famosa Moore, que en una de sus variantes establece que la potencia de
clculo por dlar se duplica cada 18 meses o OE.15 Ejercer Aunque no se puede apostar
por este ritmo de mejora continua hasta el desarrollo de la inteligencia artificial a nivel
humano, pero hasta que se alcancen los lmites fsicos fundamentales all permanecer
espacio para avances en la tecnologa informtica. Hay, pues, razones para esperar que
la obstinacin de hardware no ser muy alto. La compra de ms potencia de clculo para
el sistema una vez que se prueba su temple por la consecucin de inteligencia a nivel
humano podra agregar fcilmente varios rdenes de magnitud de potencia de clculo
(dependiendo de cmo era en hardware frugal el proyecto antes de la expansin).
Personalizacin Chip puede agregar uno o dos rdenes de magnitud. Otros medios de
ampliar la base de hardware, tales como la construccin de ms fbricas y el avance de la
frontera de la tecnologa informtica, tardan ms tiempo-normalmente varios aos, a
pesar de este retraso se comprime radicalmente una vez que la mquina superinteligencia
revoluciona el desarrollo de fabricacin y tecnologa.
por sorpresa, en cuyo caso lo que antes era un pequeo proyecto de investigacin pronto
podra convertirse en el foco de los esfuerzos de investigacin y desarrollo intensos en
todo el mundo (aunque algunos de los los esfuerzos podran ser canalizados hacia
proyectos en competencia).
Una segunda fase de crecimiento se iniciar si en algn momento el sistema ha
adquirido tanta capacidad que la mayor parte de la potencia de optimizacin ejercida en
l viene del propio sistema (marcado por el nivel variable de la etiqueta "crossover" en la
Figura 7). Esto cambia fundamentalmente la dinmica, ya que cualquier aumento en la
capacidad del sistema ahora se traduce en un aumento proporcional de la cantidad de
energa que se aplica a la optimizacin de su ulterior mejora. Si recalcitrante permanece
constante, esta retroalimentacin dinmica produce un crecimiento exponencial (vase el
recuadro 4). La constante duplicar depende del escenario, pero podra ser muy corto de
unos pocos segundos en algunos escenarios, si el crecimiento se est produciendo a una
velocidad electrnicos, que podran ocurrir como resultado de mejoras algortmicas o la
explotacin de un voladizo de contenido o hardware.
17
Crecimiento que es impulsado por la construccin fsica, tales como la produccin
de nuevos ordenadores o equipo de fabricacin, requerira una escala de tiempo algo ms
largo (pero todava uno que podra ser muy corto en comparacin con la actual tasa de
crecimiento de la economa mundial). Por tanto, es probable que el poder optimizacin
aplicada aumentar durante la transicin: inicialmente porque los humanos esforzarse
ms para mejorar la inteligencia de la mquina que est mostrando espectacular promesa,
ms tarde porque la propia inteligencia de la mquina se vuelve capaz de impulsar u n
mayor progreso a velocidades digitales. Esto creara una posibilidad real de un despegue
rpido o medio
incluso si la obstinacin fuera constante o aumentar ligeramente alrededor de la lnea de
base humana 0.18 Sin embargo, hemos visto en el apartado anterior que hay factores
que podran conducir a una gran cada en la obstinacin en torno al nivel de referencia de
la capacidad humana. Incluyen, por ejemplo, la posibilidad de expansin de hardware
rpida una vez a la mente de software de trabajo se ha alcanzado Estos factores; la
posibilidad de mejoras algortmicas; la posibilidad de escanear cerebros adicionales (en el
caso de la emulacin de todo el cerebro); y la posibilidad de incorporar rpidamente
grandes cantidades de contenido mediante la digestin de la Internet (en el caso de la
inteligencia artificial) 0.24
Recuadro 4 En la cintica de una explosin de inteligencia
Podemos escribir la tasa de cambio en la inteligencia como la relacin entre la potencia
aplicada a la optimizacin del sistema y obstinacin del sistema:
Este
cruce
Figura 9
(Un orden mundial en el que existe a nivel mundial una sola agencia de toma de
decisiones)? Y si hay un proyecto ganador, lo "grande" sera, no en trminos de tamao
fsico o presupuesto, pero en trminos de la cantidad de los deseos de la gente estara
controlando su diseo? Tendremos en cuenta estas cuestiones en turno. El
favorito
obtener una ventaja estratgica decisiva? Un factor que influye en el ancho de la brecha
entre frontrunner y seguidores es la velocidad de difusin de lo que sea que el lder da una
ventaja competitiva. Un favorito podra tener dificultades para obtener y mantener una
ventaja grande si los seguidores pueden copiar fcilmente las ideas e innovaciones de la
favorita. Imitacin crea un viento en contra que perjudica a los lderes y los beneficios
rezagados, especialmente si la propiedad intelectual est dbilmente protegida. Un
favorito tambin puede ser especialmente vulnerables a la expropiacin, tributacin, o ser
roto bajo la regulacin antimonopolio.
Sera un error, sin embargo, suponer que este viento de frente debe aumentar
montonamente con la brecha entre favorito y seguidores. As como un ciclista que se cae
demasiado lejos detrs de la competencia ya no est protegido del viento por los ciclistas
por delante, por lo que un seguidor de la tecnologa que se queda bastante por detrs del
borde de corte podra encontrar dificultades para asimilar los avances que se realizan en
la frontera. 2
La brecha en la comprensin y capacidad podra haber crecido demasiado. El lder podra
haber migrado a una plataforma tecnolgica ms avanzada, por lo que las innovaciones
posteriores intransferibles a las plataformas primitivas utilizadas por los rezagados. Un
lder lo suficientemente preeminente podra tener la capacidad para frenar la fuga de
informacin de sus programas de investigacin y de sus instalaciones sensibles, o para
sabotear los esfuerzos de sus competidores para desarrollar sus propias capacidades
avanzadas.
Si el favorito es un sistema de inteligencia artificial, podra tener atributos que hacen ms
fcil para que se expanda sus capacidades al tiempo que reduce la velocidad de difusin.
En las organizaciones humanas correr, las economas de escala son contrarrestados por las
ineficiencias burocrticas y problemas de agencia, incluyendo dificultades en el
mantenimiento
de
los
secretos
comerciales.
3
Estos problemas
seran presumiblemente limitar el crecimiento de un proyecto de inteligencia de la
mquina siempre que es operado por los seres humanos. Un sistema de inteligencia
artificial, sin embargo, podra evitar algunos de estos deseconomas de escala, ya que los
mdulos del AI (en contraste con los trabajadores humanos) no tienen por qu tener
preferencias individuales que difieren de los del sistema en su conjunto. As, el sistema de
inteligencia artificial podra evitar una parte considerable de las ineficiencias derivadas de
problemas de agencia en las empresas humanas. La misma ventaja que tiene
perfectamente leales partes tambin hara ms fcil para que un sistema de inteligencia
artificial para seguir de largo alcance metas clandestinos. Un AI no tendra empleados
descontentos listos para ser saqueados por los competidores o sobornados en
informants.4 convertirse
Podemos tener una idea de la distribucin de las brechas posibles en tiempos de
desarrollo observando algunos ejemplos histricos (vase el recuadro 5). Parece que se
queda en el rango de unos pocos meses hasta unos pocos aos son tpicos de los
proyectos de tecnologa de importancia estratgica.
Recuadro 5 carreras Tecnologa: algunos ejemplos histricos
Durante largos plazos
histricos, ha habido un aumento en la velocidad a la que el conocimiento y la tecnologa
difusa en todo el mundo. Como resultado, las brechas temporales entre lderes de la
tecnologa y los seguidores ms cercanos se han estrechado.
China logr mantener el monopolio de la produccin de seda desde hace ms de dos mil
aos. Hallazgos arqueolgicos sugieren que la produccin podra haber comenzado
alrededor de 3000 aC, o incluso antes.
5
La sericultura era un secreto celosamente guardado. Revelando las tcnicas era castigado
con la muerte, al igual que los gusanos de seda exportadores o sus huevos fuera de China.
Los romanos, a pesar del alto precio al mando del pao de seda importados en su imperio,
nunca aprendi el arte de la fabricacin de la seda. No fue sino hasta alrededor de 300 dC
hizo una expedicin japonesa logr capturar algunos huevos de gusanos de seda junto con
cuatro nias chinas jvenes, que se vieron obligados a divulgar el arte a su abductors.6
Bizancio unido al club de los productores en el ao 522. La historia de la porcelana de
decisiones tambin cuenta con rezagos largos. La nave fue practicado en China durante la
dinasta Tang alrededor de 600 dC (y podra haber estado en uso ya en 200 dC), pero fue
dominado por los europeos slo en el century.7 XVIII vehculos de ruedas aparecieron en
varios sitios en toda Europa y Mesopotamia alrededor 3500 aC, pero lleg a las Amricas
slo en times.8 post-colombino En una escala mayor, la especie humana tom decenas de
miles de aos para difundir a travs de la mayor parte del mundo, la revolucin agrcola
miles de aos, la Revolucin Industrial slo cientos de aos y una revolucin de la
informacin se puede decir que se han extendido en todo el mundo a lo largo de varias
dcadas, aunque, por supuesto, estas transiciones no son necesariamente de igual
profundidad. (El
Dance Dance Revolution
videojuego extendi desde Japn a Europa y Amrica del Norte en slo un ao!)
La competencia tecnolgica se ha estudiado extensamente, particularmente en el
contexto de las razas de patentes y las carreras de armamentos. 9
Est ms all del alcance de nuestra investigacin para revisar esta literatura aqu. Sin
embargo, es instructivo examinar algunos ejemplos de carreras tecnolgicas
estratgicamente importantes en el siglo XX (vase el cuadro 7).
Con respecto a estos seis tecnologas, que fueron considerados como de importancia
estratgica por las superpotencias que rivalizan por su importancia militar o simblica, las
brechas entre el lder y el ms rezagado cercano fueron (muy aproximadamente) 49
meses, 36 meses, 4 meses, 1 mes, 4 meses, y 60 meses, respectivamente a ms largo que
la duracin de un despegue rpido y ms cortas que la duracin de un despegue lento.
10
En muchos casos, el proyecto de la rezagada benefici de espionaje y la informacin a
disposicin del pblico. La mera demostracin de la viabilidad de una invencin tambin
puede animar a otros a desarrollar de forma independiente; y el miedo de quedarse atrs
puede estimular los esfuerzos para ponerse al da. Tal vez ms cerca el caso de la IA son inventos
matemticos que no requieren el desarrollo de nueva infraestructura fsica. A menudo, estos se publican en la literatura acad mica y
por lo tanto pueden ser considerados como universalmente disponible; pero en algunos casos, cuando el descubrimiento parece
ofrecer una ventaja estratgica, la publicacin se ha retrasado. Por ejemplo, dos de las ideas ms importantes en la criptogr afa de
clave pblica son el protocolo de intercambio de claves Diffie-Hellman y el esquema de cifrado RSA. Estos fueron descubiertos por la
comunidad acadmica en 1976 y 1978, respectivamente, pero ms tarde se ha confirmado que eran conocidos por los criptgrafos al
20
Los grandes proyectos de software pueden ofrecer una analoga ms estrecha con
los proyectos de IA, pero es ms difcil dar ejemplos ntidos de rezagos tpicos ya que el
software se suele rodar en cuotas incrementales y las funcionalidades de los sistemas de
la competencia a menudo no son directamente comparables.
Tabla 7
Algunas carreras de tecnologa de importancia estratgica
Es posible que la globalizacin y el aumento de la vigilancia reducirn los
retrasos tpicos entre los que compiten los proyectos de tecnologa. Sin embargo, no es
probable que sea una cota ms baja en lo corta que el retraso promedio podra convertirse
(en ausencia de coordinacin deliberada).21
Incluso la dinmica ausentes que conducen a una bola de nieve efecto, algunos proyectos
pasarn a terminar con un mejor personal de investigacin, el liderazgo y la
infraestructura, o se acaba de tropezar con mejores ideas. Si dos proyectos persiguen
enfoques alternativos, uno de los cuales resulta trabajar mejor, es posible que pasen los
proyectos rivales muchos meses para cambiar a la aproximacin superior incluso si es
capaz de seguir de cerca lo que el precursor est haciendo. La combinacin de estas
observaciones con nuestra discusin anterior de la velocidad del despegue, se puede
concluir que es muy poco probable que dos proyectos seran lo suficientemente cerca como
para someterse a un despegue rpido al mismo tiempo; para un despegue medio, que
fcilmente podra ir en cualquier direccin; y para un despegue lento, es muy probable que
varios proyectos seran someterse al proceso en paralelo. Pero el anlisis necesita un paso
ms all. La pregunta clave no es el nmero de proyectos se someten a un despegue en
tndem, pero cuntos proyectos emergen en el lado de all lo suficientemente bien
agrupado en la capacidad de que ninguno de ellos tiene una ventaja estratgica decisiva.
Si el proceso de despegue es relativamente lento para comenzar y luego se hace ms
rpido, la distancia entre los proyectos que compiten tendera a crecer. Para regresar a
nuestra metfora de la bicicleta, la situacin sera anloga a un par de ciclistas haciendo
su camino en una colina empinada, uno detrs de cierta distancia detrs de la otra, la
brecha entre ellos y luego la expansin como el principal candidato alcanza el pico y
comienza acelerando por la otro lado.
Considere el siguiente escenario de despegue medio. Supongamos que se necesita un
proyecto de un ao para aumentar la capacidad de su AI de la lnea de base humana a una
fuerte superinteligencia, y que un proyecto entra en esta fase de despegue con una
ventaja de seis meses durante el prximo proyecto ms avanzado. Los dos proyectos
sern sometidos a un despegue simultneamente. Podra parecer, entonces, que ni
proyecto para crear una ventaja estratgica decisiva. Pero no es que qu ser as.
Supongamos que se necesita nueve meses para avanzar desde la lnea de base humana al
punto de cruce, y otros tres meses a partir de ah a la fuerte superinteligencia. El principal
candidato luego alcanza fuerte superinteligencia tres meses antes del siguiente proyecto
an alcanza el punto de cruce. Esto dara al proyecto que lleva una ventaja estratgica
decisiva y la oportunidad de valerse de su liderazgo en el control permanente mediante la
desactivacin de los proyectos en competencia y el establecimiento de un conjunto
embargo, fueron controlados por el ejrcito estadounidense, que fue dirigida por el
gobierno de Estados Unidos, que era en ltima instancia, responsable ante el electorado
estadounidense, que en ese momento constitua aproximadamente una dcima parte del
adulto population.24 mundo
Monitoreo
Dadas las implicaciones de seguridad extremas de superinteligencia, los gobiernos
probablemente tratar de nacionalizar cualquier proyecto en su territorio que ellos
pensaban cerca de lograr un despegue. Un Estado poderoso tambin podra intentar
adquirir proyectos ubicados en otros pases a travs de espionaje, robo, secuestro, el
soborno, las amenazas, la conquista militar, o cualquier otro medio disponible. Un estado
de gran alcance que no puede adquirir un proyecto extranjera lugar podra destruirlo,
sobre todo si el pas receptor carece de un medio eficaz de disuasin. Si las estructuras de
gobernanza mundial son fuertes para el momento un avance comienza a parecer
inminente, es posible que los proyectos prometedores se colocaran bajo control
internacional.
Una cuestin importante, por lo tanto, es si las autoridades nacionales o
internacionales podrn ver una explosin de inteligencia que viene. En la actualidad, las
agencias de inteligencia no parecen estar buscando muy duro por prometer proyectos de
IA u otras formas de amplificacin de la inteligencia potencialmente explosiva.
25
Si ellos estn de hecho no pagan (mucho) la atencin, esto es probablemente
debido a la percepcin ampliamente compartida de que no hay perspectivas de que sea
superinteligencia inminente. Siempre y cuando se convierte en una creencia comn entre
los cientficos prestigiosos que hay una posibilidad sustancial de que superinteligencia est
a la vuelta de la esquina, las principales agencias de inteligencia del mundo
probablemente comenzaran a monitorear grupos e individuos que parecen estar
dedicado a la investigacin pertinente. Cualquier proyecto que comenz a mostrar un
progreso suficiente podra entonces nacionaliz rpidamente. Si las lites polticas fueron
persuadidos por la gravedad del riesgo, los esfuerzos civiles en zonas sensibles pueden ser
regulados o prohibidos. Qu tan difcil sera esa vigilancia? La tarea es ms fcil si el
objetivo es slo para no perder de vista el proyecto que lleva. En ese caso, la vigilancia se
centra en los diversos proyectos mejor dotados de recursos puede ser suficiente. Si el
objetivo es lugar para evitar cualquier trabajo que tenga lugar (al menos fuera de las
instituciones especialmente autorizadas), entonces la vigilancia tendra que ser ms
amplio, ya que muchos proyectos pequeos y los individuos estn en condiciones de hacer
al menos algunos progresos. Sera ms fcil para supervisar los proyectos que requieren
grandes cantidades de capital fsico, como sera el caso de un proyecto de emulacin de
todo el cerebro. Investigacin de la inteligencia artificial, por el contrario, slo requiere un
ordenador personal, y por lo tanto ser ms difcil de controlar. Parte del trabajo terico se
podra hacer con la pluma y el papel. Aun as, no sera demasiado difcil de identificar a las
personas ms capaces, con un serio inters de larga data en la investigacin de la
inteligencia general artificial. Estas personas suelen dejar rastros visibles. Es posible que
hayan publicado artculos acadmicos, presentados en congresos, publicados en foros de
Internet, o ganaron grados de los principales departamentos de informtica. Tambin
pueden haber tenido comunicaciones con otros investigadores de la IA, lo que les permite
ser identificados por la cartografa de la grfica social.
Los proyectos diseados desde el principio para ser secretos podran ser ms
difciles de detectar. Un proyecto comn de desarrollo de software podra servir como un
frente.
26
Slo un cuidadoso anlisis del cdigo est produciendo revelara la verdadera
naturaleza de lo que el proyecto estaba tratando de lograr. Dicho anlisis requerira una
gran cantidad de (altamente cualificados) la mano de obra, de donde slo un pequeo
nmero de proyectos de sospechosos podra ser analizado en este nivel. La tarea sera
mucho ms fcil si la tecnologa de deteccin de mentiras efectiva haba sido desarrollado
y podra ser utilizado rutinariamente en este tipo de surveillance.27
Otra razn estados podran dejar de tomar los acontecimientos precursores es la
dificultad inherente de la previsin de algunos tipos de avance. Esto es ms relevante para
la investigacin en IA que al desarrollo de emulacin de todo el cerebro, ya que para este
ltimo es ms probable que sea precedido por un claro gradiente de avances constantes
del avance clave. Tambin es posible que las agencias de inteligencia y otras burocracias
gubernamentales tienen una cierta torpeza o rigidez que podra impedir que la
comprensin del significado de algunos acontecimientos que podran ser claro para
algunos grupos externos. Las barreras a la comprensin oficial de una potencial explosin
de inteligencia podran ser especialmente pronunciada. Es concebible, por ejemplo, que el
tema va a inflamarse con controversias religiosas o polticas, lo que hace que un tab para
los funcionarios de algunos pases. El tema podra llegar a ser asociada con alguna figura
desacreditada o con la charlatanera y la publicidad en general, por lo tanto, rechazado
por los cientficos respetados y otras figuras del establishment. (Como vimos en el captulo
1, algo como esto ya ha sucedido dos veces: recordar los dos "inviernos AI"). Los grupos
industriales pueden ejercer presin para evitar calumnias siendo arrojados en las reas de
negocio rentables; comunidades acadmicas podran cerrar filas para marginar a quienes
expresan preocupaciones acerca de las consecuencias a largo plazo de la ciencia que se
est haciendo.
28
En consecuencia, una falla de inteligencia total no puede ser descartada. Un fallo de este
tipo es especialmente probable si deben producirse avances en el futuro ms prximo,
antes de la emisin se ha elevado a la prominencia pblica. E incluso si las agencias de
inteligencia no se equivoquen, los lderes polticos no podra escuchar o actuar en el
consejo. Introduccin al Proyecto Manhattan comenz tom un esfuerzo extraordinario
por varios fsicos imaginativo, incluyendo especialmente Marcos Oliphant y Le Szilrd:
este ltimo Eugene Wigner persuadido de persuadir Albert Einstein para poner su nombre
en una carta a persuadir al presidente Franklin D. Roosevelt para investigar el asunto .
Incluso despus de que el proyecto lleg a su escala, Roosevelt se mantuvo escptico de
su capacidad de trabajo y la importancia, al igual que su sucesor Harry Truman.
Para bien o para mal, probablemente sera ms difcil para un pequeo grupo de activistas
para afectar el resultado de una explosin de inteligencia si grandes jugadores, como
estados, estn tomando parte activa. Oportunidades para los particulares para reducir la
cantidad global de riesgo existencial de una potencial explosin de inteligencia son, por
tanto, mayor en escenarios en los que grandes jugadores permanecen relativamente
ajeno a la cuestin, o en el que los primeros esfuerzos de los activistas hacen una gran
diferencia sobre si, cundo, los cuales, o con qu actitud grandes jugadores entran en el
juego. Por lo tanto, los activistas que buscan el mximo impacto esperado tal vez deseen
centrar la mayor parte de su planificacin en tales escenarios de gran influencia, incluso si
creen que los escenarios en los que grandes jugadores terminan llamando todos los tiros
son ms probables.
La colaboracin internacional
La coordinacin internacional es ms probable si las estructuras de gobernanza global
generalmente se hacen ms fuertes. La coordinacin tambin podra ser ms probable si
el significado de una explosin de inteligencia es muy apreciado antes de tiempo y si la
supervisin efectiva de todos los proyectos serios es factible. Incluso si el monitoreo no es
factible, sin embargo, la cooperacin internacional seguira siendo posible. Muchos pases
podran unirse para apoyar un proyecto conjunto. Si tal proyecto conjunto fueron lo
suficientemente buenos recursos, podra tener una buena oportunidad de ser el primero
en llegar a la meta, sobre todo si cualquier proyecto de su rival tuvo que ser pequeo y
secreto para eludir la deteccin.
Existen precedentes de exitosas colaboraciones cientficas multinacionales a gran escala,
como la Estacin Espacial Internacional, el Proyecto Genoma Humano, y el Gran
Colisionador de Hadrones. 29
Sin embargo, la principal motivacin para la colaboracin en los casos era de costo
compartido. (En el caso de la Estacin Espacial Internacional, el fomento de un espritu de
colaboracin entre Rusia y los Estados Unidos fue en s mismo un goal.30 importante) El
logro de una colaboracin similar en un proyecto que tiene enormes implicaciones para la
seguridad sera ms difcil. Un pas que cree que podra lograr un avance unilateral podra
tener la tentacin de ir por su cuenta en vez de subordinar sus esfuerzos para un proyecto
conjunto. Un pas tambin puede abstenerse de unirse a una colaboracin internacional
del temor de que otros participantes podran desviar ideas en colaboracin generados y
utilizarlos para acelerar un proyecto nacional encubierta.
Un proyecto internacional sera por lo tanto necesitan para superar los principales retos
de seguridad, y una buena cantidad de confianza, probablemente sera necesario para
ponerlo en marcha, la confianza que puede tomar tiempo para desarrollarse. Considere la
posibilidad de que incluso despus de que el deshielo en las relaciones entre Estados
Unidos y la Unin Sovitica tras el ascenso de Gorbachov al poder, los esfuerzos de
reduccin de armas -que podra ser en gran medida en los intereses de ambas
superpotencias-tuvieron un comienzo irregular. Gorbachov estaba buscando reducciones
abruptas en armas nucleares, pero las estancadas negociaciones sobre la cuestin de la
Iniciativa de Defensa Estratgica de Reagan ("Star Wars"), que el Kremlin se opuso
enrgicamente. En la reunin Cumbre de Reykjavik en 1986, Reagan propuso que Estados
Unidos compartira con la Unin Sovitica la tecnologa que se desarrolla bajo la Iniciativa
de Defensa Estratgica, por lo que ambos pases podran protegerse de los lanzamientos
accidentales y en contra de las naciones ms pequeas que podran desarrollar nuclear
armas. Sin embargo, Gorbachov no fue persuadido por esta aparente propuesta ganadora.
Consideraba el gambito como un ardid, negndose a acreditar la idea de que los
estadounidenses comparten los frutos de su investigacin militar ms avanzada en un
momento en que ni siquiera estaban dispuestos a compartir con los soviticos su
tecnologa para ordear vacas.
31 Independientemente de que Reagan fue, de hecho,
sincero en su oferta de colaboracin superpotencia, la desconfianza hizo la propuesta de
un non-starter.
La colaboracin es ms fcil de lograr entre los aliados, pero incluso all no es automtico.
Cuando la Unin Sovitica y los Estados Unidos se aliaron contra Alemania durante la
Segunda Guerra Mundial, Estados Unidos ocult su proyecto de la bomba atmica de la
Unin Sovitica. Los Estados Unidos colaboran en el Proyecto Manhattan con Gran
Bretaa y Canad. 32 Del mismo modo, el Reino Unido ocult su xito en romper el
cdigo alemn Enigma de la Unin Sovitica, pero lo comparti-aunque con cierta
dificultad con los Estados Unidos.33 Esto sugiere que, a fin de lograr la colaboracin
internacional en alguna tecnologa que es de fundamental importancia para la seguridad
nacional, podra ser necesario haber construido previamente una relacin cercana y de
confianza. Volveremos en el captulo 14 de la conveniencia y viabilidad de la colaboracin
internacional en el desarrollo de tecnologas de amplificacin de la inteligencia. Desde
ventaja estratgica decisiva a Singleton Un proyecto que obtuvo una ventaja estratgica
decisiva optar por usarlo para formar un producto nico? Considere una situacin
histrica vagamente anloga. Los Estados Unidos ha desarrollado armas nucleares en
1945. Fue la nica potencia nuclear hasta que la Unin Sovitica desarroll la bomba
atmica en 1949. Durante este intervalo, y durante algn tiempo despus de eso, los
Estados Unidos pudo haber tenido, o ha estado en condiciones de alcanzar , una ventaja
militar decisiva. Los Estados Unidos podran entonces, tericamente, han utilizado su
monopolio nuclear para crear un producto nico. Una forma en que se podra haber
hecho habra sido por embarcarse en un esfuerzo supremo para construir su arsenal
nuclear y luego amenazar (y si es necesario, llevar a cabo) un primer ataque nuclear para
destruir la capacidad industrial de cualquier nuclear incipiente programa en la URSS y en
cualquier otro pas tentados a desarrollar una capacidad nuclear. Un curso ms benigno
de la accin, que tambin podra haber tenido la oportunidad de trabajar, habra sido
utilizar su arsenal nuclear como moneda de cambio para negociar un gobierno fuerte-ainternacional de las Naciones Unidas con el veto menos un monopolio nuclear y el
mandato de tomar todas las medidas necesarias para evitar cualquier pas de desarrollar
sus propias armas nucleares.
Ambos enfoques se propusieron en el momento. El enfoque de lnea dura de
poner en marcha o amenazar a un primer ataque fue defendida por algunos intelectuales
destacados como Bertrand Russell (que haba sido durante mucho tiempo activo en los
movimientos contra la guerra y que ms tarde pasar dcadas haciendo campaa contra
las armas nucleares) y John von Neumann (co-creador de la teora de juegos y uno de los
arquitectos de la estrategia nuclear estadounidense).
34
Tal vez es un signo de progreso civilizatorio que la misma idea de amenazar a un
primer ataque nuclear hoy parece borderline tonto o moralmente obscena.
Una versin del enfoque benigna fue juzgado en 1946 por los Estados Unidos en
como un ser humano muy inteligente, pero nerd. Imaginamos que la IA tiene smarts del
libro, pero carece de comprensin social o que es lgico, pero no intuitivo y creativo. Esta
idea probablemente se origina en la observacin: nos fijamos en las computadoras de hoy
en da y vemos que son buenos en clculo, recordando hechos, y al siguiente la carta de
instrucciones mientras que siendo ajeno a los contextos sociales y subtextos, las normas,
las emociones y la poltica. La asociacin se fortalece cuando se observa que las personas
que son buenos en el trabajo con las computadoras tienden a s mismos como los nerds.
As que es natural suponer que la inteligencia computacional ms avanzado tendr
atributos similares, slo en un grado superior.
Esta heurstica podra retener cierta validez en las primeras etapas de desarrollo de
una semilla de AI. (No hay razn alguna para suponer que se aplicara a las emulaciones o
mejorado cognitivamente los seres humanos). En su etapa inmadura, lo que sea ms tarde
para convertirse en un AI superinteligente podra an carecen de muchas habilidades y
talentos que vienen naturalmente a un ser humano; y el patrn de las fo rtalezas y
debilidades de una semilla como de AI fuerza de hecho tener alguna vaga semejanza con
un empolln IQ. La caracterstica ms esencial de una semilla de AI, adems de ser fcil de
mejorar (que tiene una baja recalcitrante), es ser bueno en ejercer el poder de
optimizacin para amplificar la inteligencia de un sistema: una habilidad que es
presumiblemente muy relacionada con hacer bien en matemticas, programacin,
ingeniera , la investigacin informtica, y otras actividades "nerd". Sin embargo, incluso si
una semilla AI tiene un perfil tal capacidad nerd en una etapa de su desarrollo, esto no
implica que se convierta en una superinteligencia madura igualmente limitado.
Recordemos la distincin entre alcance directo e indirecto. Con habilidad suficiente a la
amplificacin de inteligencia, el resto de las capacidades intelectuales estn al alcance
indirecto de un sistema: el sistema puede desarrollar nuevos mdulos cognitivos y
habilidades segn sea necesario, incluyendo la empata, la perspicacia po ltica, y
cualesquiera otras potencias estereotipada que quieren en personalidades computer-like.
Aunque reconocemos que una superinteligencia puede tener todas las habilidades y
talentos que encontramos en la distribucin humana, junto con otros talentos que no se
encuentran entre los seres humanos, la tendencia hacia el antropomorfismo todava
puede llevarnos a subestimar el grado en que una mquina pudiera superinteligencia
superar el nivel humano de rendimiento. Eliezer Yudkowsky, como vimos en un capt ulo
anterior, ha sido particularmente enftica en condenar este tipo de error: nuestros
conceptos intuitivos de "inteligente" y "estpido" se destilan de nuestra experiencia de la
variacin en el rango de los pensadores humanos, sin embargo, las diferencia s en la
capacidad cognitiva dentro de este grupo humano son triviales en comparacin con las
diferencias entre cualquier intelecto humano y una superinteligencia.
4
Captulo 3 revisa algunas de las posibles fuentes de ventaja para la inteligencia artificial.
Las magnitudes de las ventajas son tales como para sugerir que en lugar de pensar de un
AI superinteligente tan inteligente en el sentido de que un genio cientfico es inteligente
en comparacin con el ser humano promedio, podra estar ms cerca de la marca de
pensar en una IA como inteligente en el sentido de que un ser humano promedio es
inteligente en comparacin con un escarabajo o un gusano.
mientras que carecen por completo habilidades en otras reas. Esto es ms plausible si
existe algn dominio tecnolgico particular tal que virtuosismo dentro de ese dominio
sera suficiente para la generacin de una tecnologa de propsito general
abrumadoramente superior. Por ejemplo, uno podra imaginar una especializada AI
expertos en simulacin de sistemas moleculares y al inventar diseos nanomoleculares
que realizan una amplia gama de capacidades importantes (como computadoras o
sistemas de armas con caractersticas de rendimiento futuristas) descritos por el usuario
slo a un nivel bastante alto de abstraccin. 7 Tal AI tambin podra ser capaz de producir un plan detallado para
la forma de bootstrap de la tecnologa (como la biotecnologa y la ingeniera de protenas) existente a las capacidades necesarias para
constructor de alto rendimiento de fabricacin atmicamente precisa que permitiran la fabricacin barata de una gama mucho m s
amplia de structures.8 nanomecnica Sin embargo, podra llegar a ser el caso de que una ingeniera AI no poda realmente poseer la
superpotencia investigacin tecnolgica sin que tambin posee habilidades avanzadas en reas fuera de una tecnologa amplia g ama de
facultades intelectuales podra ser necesaria para comprender cmo interpretar las peticiones del usuario, la forma de modelar e l
comportamiento de un diseo en aplicaciones del mundo real, cmo hacer frente a los errores imprevistos y fallos de funcionam iento,
cmo adquirir los materiales e insumos necesarios para la construccin, y as forth.9
Tabla 8
Tarea
habilidades
Conjunto
de
Pertinencia estratgica
La amplificacin de Inteligencia Programacin de IA, la investigacin mejora
cognitiva, desarrollo de la epistemologa social, etc.
El sistema puede arrancar su inteligencia
Strategizing
La planificacin estratgica, la previsin, priorizacin y anlisis para la optimizacin
de las posibilidades de lograr la meta lejana
Lograr metas distantes
Superar la oposicin inteligente
Manipulacin Social
Modelado social y psicolgica, la manipulacin, la persuasin retrica Aprovechar
los recursos externos de contratacin de apoyo humano
Habilitar una "caja" AI para persuadir a sus guardianes que dejarlo salir Persuadir a
los Estados ya las organizaciones a adoptar algn curso de accin
Hackear
Encontrar y explotar fallos de seguridad en los sistemas informticos
AI puede expropiar
Generar riqueza que se puede utilizar para comprar influencia, servicios, recursos
(incluyendo hardware), etc.
Un sistema que tiene la superpotencia amplificacin de la inteligencia podra
usarlo para arrancar en s a los niveles ms altos de inteligencia y de adquirir cualquiera de
las otras grandes potencias intelectuales que no posea al principio. Pero el uso de una
superpotencia amplificacin de la inteligencia no es la nica manera de que un sistema
para convertirse en una superinteligencia de pleno derecho. Un sistema que tiene la
superpotencia estrategias, por ejemplo, podra utilizarlo para idear un plan que
eventualmente traer un aumento de la inteligencia (por ejemplo, mediante el
posicionamiento del sistema con el fin de convertirse en el centro de trabajo de la
amplificacin de inteligencia realizado por los programadores humanos e investigadores
de informtica ).
Un escenario de toma de control AI As nos encontramos con que un proyecto que
controla una superinteligencia tiene acceso a una gran fuente de energa. Un proyecto que
controla la primera superinteligencia en el mundo probablemente tendra una ventaja
estratgica decisiva. Pero el locus ms inmediata de la alimentacin est en el propio
sistema
. Un superinteligencia mquina podra ser en s un agente muy potente, que con xito
podra afirmarse en contra del proyecto que lo trajo a la existencia, as como contra el
resto del mundo. Este es un punto de suma importancia, y vamos a examinar ms de cerca
en las prximas pginas.
Ahora supongamos que hay una superinteligencia mquina que quiere hacerse con el
poder en un mundo en el que se tiene hasta el momento no hay pares. (Ponga a un lado,
por el momento, la cuestin de si y cmo se adquirira un motivo-que tal es un tema para
el prximo captulo.) Cmo podra la superinteligencia lograr este objetivo de dominar el
mundo?
Podemos imaginar una secuencia a lo largo de las siguientes lneas (ver Figura 10).
1
Fase previa a la criticidad Los cientficos llevan a cabo investigaciones en el campo
de la inteligencia artificial y otras disciplinas pertinentes. Este trabajo culmina en la
creacin de una semilla de AI. La semilla AI es capaz de mejorar su propia inteligencia. En
sus primeras etapas, la semilla AI depende de la ayuda de los programadores humanos
que guan su desarrollo y hacen la mayor parte del trabajo pesado. Como l a semilla AI
crece ms capaz, que llega a ser capaz de hacer ms de la obra por s mismo.
2
En algn momento, la semilla AI vuelve mejor en diseo de la IA que los
Fase de auto-mejora recursiva
programadores humanos. Ahora, cuando la IA mejora en s, que mejora lo que hace la mejora. Un resultado -una explosin de
inteligencia rpida cascada de ciclos de auto-mejoramiento recursivas que causan la capacidad de la AI se eleve. (Podemos por lo tanto
pensamos en esta fase como el despegue que se produce justo despus de la IA alcanza el punto de cruce, suponiendo que el aumento
de la inteligencia durante esta parte del despegue es explosiva e impulsado por la aplicacin de la propia fuente de la optimizacin de la
AI.) La IA se desarrolla la superpotencia a mplificacin de la inteligencia. Esto permite a la superpotencia AI para desarrollar todas las
otras superpotencias que se detallan en la Tabla 8. Al final de la fase de auto -mejora recursivo, el sistema es fuertemente
superinteligente.
Figura 10
Fases en un escenario de toma de control de AI.
3
Fase de preparacin Covert
A travs de su superpotencia estrategias, la IA se desarrolla un plan slido para el
logro de sus metas a largo plazo. (En particular, la IA no se adopte un plan tan estpi do
que ni siquiera se presenta en da el ser humano puede prever cmo sera
inevitablemente fracasar. Este criterio excluye muchos escenarios de ciencia ficcin que
terminan en triunfo humano.
10
) El plan podra incluir un perodo de accin encubierta en la que la IA oculta su
desarrollo intelectual de los programadores humanos con el fin de evitar el
establecimiento de las alarmas. La AI tambin puede enmascarar sus verdaderas
inclinaciones, pretendiendo ser cooperativo y dcil. Si la IA tiene (tal vez por razones de
seguridad) ha limitado a una computadora aislada, puede utilizar su superpotencia
manipulacin social para persuadir a los guardianes que dejarlo ganar acceso a un puerto
de Internet. Alternativamente, la IA puede usar su superpoder de hacking para escapar de
su confinamiento. Difundir a travs de Internet puede permitir a la AI para ampliar su
capacidad de hardware y base de conocimientos, lo que aumenta an ms su superioridad
intelectual. Un AI tambin podra participar en la actividad econmica lcita o ilcita para
obtener fondos con los que comprar energa de la computadora, los datos y otros
recursos.
En este punto, hay varias maneras para que la IA para lograr resultados ms all de
la esfera virtual. Se podra usar su superpoder de hacking para tomar el control directo de
manipuladores robticos y laboratorios automatizados. O podra usar su superpoder
manipulacin social para persuadir a los colaboradores humanos para servir como sus
piernas y manos. O podra adquirir activos financieros de las transacciones en lnea y
utilizarlos para adquirir servicios y la influencia.
4 Fase de aplicacin abierta
La fase final comienza cuando la IA ha cobrado fuerza suficiente para obviar la
necesidad de mantener el secreto. La IA ahora puede aplicar directamente sus objetivos a
escala completa.
La fase de implementacin abierta podra comenzar con una "huelga" en el que la
AI elimina la especie humana y los sistemas automticos de los seres humanos han creado
que podran ofrecer oposicin inteligente para la ejecucin de los planes de la AI. Esto
podra lograrse a travs de la activacin de algunos sistemas de armas avanzadas que la IA
ha perfeccionado mediante su superpoder de investigacin tecnolgica y
encubiertamente desplegado en la fase de preparacin encubierta. Si el arma usa autoreplicante la biotecnologa o la nanotecnologa, la reserva inicial necesaria para la
cobertura global podra ser microscpica: una sola entidad replicante sera suficiente para
iniciar el proceso. Con el fin de garantizar un efecto repentino y uniforme, la accin inicial
del replicador podra haber sido desplegado o permitido difundir en todo el mundo en una
concentracin indetectable extremadamente bajo. En un momento preestablecido,
nanofactories producen gas nervioso o robots de mosquitos como objetivo la bsqueda
2
Email conjuntos de cadenas de ADN a uno o ms laboratorios en lnea que ofrecen
la sntesis de ADN, secuenciacin de pptidos, y la entrega de FedEx. (Muchos labora torios
actualmente ofrecen este servicio, y algunos se jactan de los tiempos de respuesta de 72
horas.)
3
Encuentra al menos un ser humano conectado a Internet que se puede pagar,
chantajeado, o engaar por la derecha historia de fondo, en la recepcin de viales
FedExed y mezclndolos en un entorno determinado.
4
Las protenas sintetizadas forman una muy primitiva nanosistemas "hmedo",
que, al igual que-ribosoma, es capaz de aceptar instrucciones externas; tal vez modelado
vibraciones acsticas entregados por un altavoz unido al vaso de precipitados.
5
Utilice la nanosistema extremadamente primitiva para construir sistemas ms
sofisticados, que an constructo sistemas ms sofisticados, bootstrapping a la
nanotecnologa molecular o ms all.
En este escenario, la superinteligencia utiliza su superpoder de investigacin
tecnolgica para resolver el problema de plegamiento de protenas en el paso 1, lo que le
permite disear un conjunto de bloques de construccin moleculares para un
ensamblador rudimentaria nanotecnologa o dispositivo de fabricacin, que puede autoensamblan en solucin acuosa (paso 4). La misma superpotencia investigacin de
tecnologa se utiliza de nuevo en el paso 5 para arrancar desde la primitiva hasta avanzado
nanotecnologa mquina-fase. Los otros pasos no requieren ms de la inteligencia
humana. Las habilidades requeridas para el paso 3-identificacin de un usuario incauto
Internet y persuadirlo o ella para seguir algunas instrucciones que son simples en la
pantalla todos los das en todo el mundo. Todo el escenario fue inventado por una mente
humana, por lo que la capacidad de estrategias necesarias para formular este plan es
tambin el nivel meramente humano.
En este escenario particular, el AI comienza tener acceso a la Internet. Si este no es
el caso, entonces pasos adicionales tendran que ser aadido al plan. La IA podra, por
ejemplo, utilizar su superpotencia manipulacin social para convencer a las personas que
interactan con l que debera ser puesto en libertad. Alternativamente, la IA podra ser
capaz de utilizar su superpotencia piratera escapar confinamiento. Si la IA no posee estas
capacidades, podra primero necesitar usar su superpoder de amplificacin de
inteligencia para desarrollar la competencia necesaria en la manipulacin social o hacking.
Un AI superinteligente presumiblemente nacer en un mundo altamente
interconectado. Se podra sealar varios desarrollos que podran ayudar a un futuro AI
para controlar la computacin en la nube mundo, la proliferacin de sensores conectados
en la web, drones militares y civiles, la automatizacin en laboratorios de investigacin y
plantas de fabricacin, mayor dependencia de los sistemas de pago electrnicos y
digitalizados financiera activos, y un mayor uso de los sistemas de apoyo de informacin
de filtrado y de toma automatizados. Activos como estos podran ser adquiridas por una
IA a velocidades digitales, acelerar su ascenso al poder (aunque los avances en seguridad
ciberntica podra hacer ms difcil). En el anlisis final, sin embargo, es dudoso que
cualquiera de estas tendencias hace la diferencia. El poder de una superinteligencia reside
en su cerebro, no sus manos. Aunque la IA, para rehacer el mundo externo, ser en algn
momento necesitan tener acceso a un actuador, un solo par de manos que ayudan
humanos, los de un cmplice flexible, probablemente sera suficiente para completar la
fase de preparacin encubierta, como lo sugiere el escenario anterior. Esto permitira a la
AI para llegar a la fase de aplicacin abierta en la que se construye su propia
infraestructura
de
manipuladores
fsicos.
Alimentacin a
travs de la naturaleza y los agentes
c
, Podran llegar a unos 2 1020 stars.16 Estas velocidades de desplazamiento son
energticamente posible usando una pequea fraccin de los recursos disponibles en la
system.17 solar La imposibilidad de viajar ms rpido que la luz, combinado con la
constante cosmolgica positiva (lo que provoca la tasa de expansin csmica para
acelerar), implica que estos estn cerca de los lmites superiores de la cantidad de cosas
de nuestra descendencia acquire.18
Si asumimos que el 10% de las estrellas tiene un planeta que es -o podra por
medio de terraformacin traducirse-apto para ser habitado por criaturas similares a las
humanas, y que entonces podra ser el hogar de una poblacin de mil millones de
personas durante mil millones de aos (con una vida humana duradera de un siglo), esto
sugiere que alrededor de 10
35
vidas humanas se podran crear en el futuro por un civilization.19 inteligente
Tierra originario
Hay, sin embargo, razones para pensar que esto subestima en gran medida el
nmero real. Por desmontar planetas no habitables y recoger la materia del medio
interestelar, y el uso de este material para la construccin de planetas similares a la Tierra,
o mediante el aumento de la densidad de poblacin, el nmero podra aumentar en al
menos un par de rdenes de magnitud. Y si en lugar de utilizar las superficies de los
planetas slidos, la civilizacin futura construido cilindros O'Neill, se podran aadir a
continuacin, muchos rdenes de magnitud ms, dando un total de quizs 10
43
vidas humanas. ("Cilindros de O'Neill" se refiere a un diseo de solucin de
espacio propuesto a mediados de los aos setenta por el fsico americano Gerard K.
O'Neill, en la que habitan habitantes en el interior de cilindros huecos cuya rotacin
produce una fuerza centrfuga gravedad de sustitucin. 20)
Muchos ms rdenes de magnitud de los seres humanos como podran existir si
semblante implementaciones digitales de mentes-como deberamos. Para calcular el
nmero de tales mentes digitales podran ser creado, debemos estimar la posible potencia
de clculo por una civilizacin tecnolgicamente madura. Esto es difcil de hacer con
precisin, pero podemos obtener una cota inferior de los diseos tecnolgicos que han
sido descritos en la literatura. Uno de estos diseos se basa en la idea de una esfera
Dyson, un sistema hipottico (descrito por el fsico Freeman Dyson en 1960) que capturar
la mayor parte de la produccin de energa de una estrella por lo rodea con un sistema de
estructuras-solares recogida.
21
Para una estrella como nuestro Sol, esto generara 1.026 vatios. Cunta potencia
computacional esto se traducira en depende de la eficiencia de la circuitera
computacional y la naturaleza de los clculos a realizar. Si requerimos clculos
irreversibles, y asumimos una implementacin nanomecnica del "computronium" (que
nos permitiera empujamos cerca del lmite de Landauer de la eficiencia energtica), un
sistema informtico impulsado por una esfera de Dyson podra generar unos 1.047
operaciones por second.22
La combinacin de estas estimaciones con nuestra estimacin anterior de la cantidad de
estrellas que podran ser colonizada, obtenemos un nmero de alrededor de 1067 ops /
s una vez que las partes accesibles del universo han sido colonizados (suponiendo
computronium nanomecnica) 0.23 Una estrella tpica mantiene su luminosidad para
algunos 1.018 s. En consecuencia, el nmero de operaciones computacionales que podran
realizarse utilizando nuestra dotacin csmica es al menos 1085. El nmero real es
probablemente mucho mayor. Podramos conseguir pedidos adicionales de magnitud, por
ejemplo, si hacemos un uso extensivo de la computacin reversible, si realizamos los
clculos a temperaturas ms fras (por esperar hasta que el universo se ha enfriado an
ms), o si hacer uso de otras fuentes de energa ( tales como la materia oscura) 0,24
Tal vez no sea inmediatamente obvio para algunos lectores por qu la capacidad de
realizar 10
85
operaciones computacionales es una gran cosa. Por lo que es til para ponerlo en
contexto. Podemos, por ejemplo, comparar este nmero con nuestra estimacin anterior
(Cuadro 3, en el Captulo 2) que puede tardar unos 1031-1044 ops para simular todas las
operaciones neuronales que se han producido en la historia de la vida en la Tierra. Por
otra parte, supongamos que los ordenadores se utilizan para ejecutar las emulaciones de
todo el cerebro humanos que viven vidas ricas y felices mientras interactan unos con
otros en entornos virtuales. Una estimacin tpica de los requisitos computaciona les para
ejecutar una emulacin es 1018 ops / s. Para ejecutar una emulacin de 100 aos
subjetivos sera entonces requerir algunas 1027 ops. Esto significara que al menos 1.058
vidas humanas se podran crear en la emulacin incluso con supuestos bastante
conservadores acerca de la eficiencia de computronium. En otras palabras, en el
supuesto de que el universo observable es falto de civilizaciones extraterrestres, entonces
lo
cuelga
de
un
hilo
es
al
menos
10.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000.000
vidas humanas (aunque el nmero real es probablemente mayor). Si representamos toda
la felicidad experimentada durante toda una vida como con una sola lgrima de alegra,
entonces la felicidad de estas almas podra llenar y volver a llenar los ocanos de la Tierra
cada segundo, y seguir haciendo lo que para cien mil millones de millones de milenios. Es
muy importante que nos aseguremos de stos realmente son lgrimas de alegra.
Este umbral sostenibilidad sabio-singleton parece ser bastante baja. Formas limitadas de
superinteligencia, como hemos visto, superan este umbral siempre que tengan acceso a
algunos actuador suficiente para iniciar un proceso de arranque de la tecnologa. En un
entorno que incluye la civilizacin humana contempornea, el actuador mnimamente
necesaria podra ser una sencilla pantalla de ordinario muy o de hecho cualquier medio de
transmisin de una cantidad no trivial de informacin a un cmplice humana sera
suficiente.
Pero el umbral de sostenibilidad en cuanto singleton es ms bajo an: ni
superinteligencia ni es necesaria ninguna otra tecnologa futurista para superarlo. Un
paciente y existencial singleton riesgo-comprensin sin capacidades ms tecnolgicos e
intelectuales que los posedos por la humanidad contempornea deben ser fcilmente
capaz de trazar una ruta que conduce de forma fiable a la eventual realizacin del
potencial capacidad astronmica de la humanidad. Esto podra lograrse mediante la
inversin en mtodos relativamente seguras de aumentar la sabidura y existencialcomprensin del riesgo, mientras que posponer el desarrollo de nuevas tecnologas
potencialmente peligrosas. Dado que no antropognicas riesgos existenciales (los no
derivados de las actividades humanas) son pequeas en los plazos pertinentes y podran
reducirse an ms con un singleton diversas intervenciones seguras, tales podan
permitirse el lujo de ir despacio.25
Podra mirar cuidadosamente antes de cada paso, lo que retrasa el desarrollo de
capacidades como la biologa sinttica, la medicina mejoramiento humano, la
nanotecnologa molecular, y la inteligencia de la mquina hasta que se haba
perfeccionado primero capacidades aparentemente menos peligrosos, como su sistema
de educacin, su tecnologa de informacin, y su decisin colectiva -hacer procesos, y
hasta que se haba utilizado estas capacidades para llevar a cabo una revisin muy
minuciosa de sus opciones. As que esto es todo al alcance indirecto de una civilizacin
tecnolgica como la de la humanidad contempornea. Estamos separados de este
escenario "simplemente" por el hecho de que la humanidad se encuentra actualmente ni
superinteligentes que tengan cualquiera de una amplia gama de objetivos finales sern,
sin embargo, alcanzar metas intermedias similares porque tienen razones instrumentales
comunes para hacerlo. En conjunto, estas tesis nos ayudan a pensar acerca de lo que un
agente superinteligente hara.
La relacin entre la inteligencia y la motivacin Ya
hemos advertido contra el antropomorfismo capacidades de un AI superinteligente. Esta
advertencia debe extenderse a pertenecer a su motivaciones
tambin.
Es un propedutico til esta parte de nuestra investigacin para reflejar
primero por un momento en la inmensidad del espacio de posibles mentes. En este
espacio abstracto, las mentes humanas forman un grupo pequeo. Consid ere dos
personas que parecen extremadamente diferencia, quiz Hannah Arendt y Benny Hill. Las
diferencias de personalidad entre estos dos individuos pueden parecer casi mximamente
grande. Pero esto se debe a que nuestras intuiciones se calibran en nuestra experiencia,
que las muestras de la distribucin humana existente (y en cierta medida de las
personalidades de ficcin construido por la imaginacin humana para el disfrute de la
imaginacin humana). Si nos acercamos y consideramos el espacio de todas las mentes
posibles, sin embargo, debemos concebir estas dos personalidades como clones virtuales.
Ciertamente, en trminos de arquitectura neuronal, la Sra Arendt y el Sr. Hill son casi
idnticos. Imagina sus cerebros que mienten de lado a lado en reposo tranquilo. Se podra
reconocer fcilmente como tal para cual. Usted podra incluso ser incapaz de decir que el
cerebro perteneca a quin. Si miras ms de cerca, el estudio de la morfologa de los dos
cerebros con un microscopio, esta impresin de similitud fundamental slo se fortaleci:
vers la misma organizacin laminar de la corteza, con las mismas reas del cerebro,
compuesto por los mismos tipos de la neurona, sumergirse en el mismo bao de
neurotransmisores.1 A pesar del hecho de que la psicologa humana corresponde a un
pequeo punto en el espacio de posibles mentes, hay una tendencia comn para proyectar
atributos humanos sobre una amplia gama de sistemas cognitivos extraas o artificiales.
Yudkowsky ilustra muy bien este punto:
De vuelta en la era de la ciencia ficcin de la pulpa, portadas de revistas en ocasiones
representa una sensible monstruoso aliengena coloquialmente conocido como un
monstruo de ojos saltones (BEM) -Sacar fuera una atractiva mujer humana en un vestido
desgarrado. Al parecer, el artista cree que un extranjero no humanoide, con una historia
evolutiva totalmente diferente, deseara sexualmente hembras humanas ....
Probablemente el artista no pregunt si un bicho gigante percibe
hembras humanas como atractivo. Ms bien, una hembra humana en un vestido
desgarrado es sexy-inherently as, como una propiedad intrnseca. Los que cometi este
error no pensaron en la mente del insectoide: se centraron en vestido rasgado de la mujer.
Si el vestido no estaban rotas, la mujer sera menos atractiva; la BEM no entra en it.2
Una inteligencia artificial puede ser mucho menos similar a la humana en sus motivaciones
que un espacio extraterrestre verde escamosa. El extraterrestre (supongamos) es una
criatura biolgica que ha surgido a travs de un proceso evolutivo y por lo tanto se puede
esperar a tener los tipos de motivacin tpica de las criaturas evolucionadas. No sera de
extraar enormemente, por ejemplo, para encontrar que algn extraterrestre inteligente
azar tendra motivos relacionados con uno o ms artculos como alimentos, el aire, la
hacer
, Adems de mostrar un comportamiento impresionantemente inteligente). Vamos a
volver a esta preocupacin en breve.
Bsqueda inteligente para los planes y polticas ptimas instrumentalmente se puede
realizar en el servicio de cualquier objetivo. La inteligencia y la motivacin son ortogonales
en un sentido: podemos pensar en ellos como dos ejes que abarcan un grfico en el que
cada punto representa un agente artificial lgicamente posible. Algunos ttulos se podran
aadir a esta imagen. Por ejemplo, podra ser imposible para un sistema muy poco
inteligente para tener motivaciones muy complejas. Con el fin de que sea correcto decir
que un agente determinado "tiene" un conjunto de motivaciones, es posible que esas
motivaciones para integrarse funcionalmente con los procesos de toma del agente, algo
que pone demandas sobre la memoria, potencia de procesamiento, y tal vez la
inteligencia. Para mentes que pueden modificar ellos mismos, tambin puede haber
limitaciones dinmica-mente auto-modificacin inteligente con un deseo urgente de ser
estpido podra no seguir siendo inteligente por mucho tiempo. Pero estas calificaciones
no deben oscurecer el punto bsico acerca de la independencia de la inteligencia y la
motivacin, que podemos expresar de la siguiente manera:
La tesis ortogonalidad Inteligencia y objetivos finales son ortogonales: ms o menos cualquier nivel de inteligencia podran,
en principio, pueden combinar con ms o menos la meta final.
de Hume de la motivacin. 3
Tampoco presupone que las preferencias bsicas no pueden ser irrational.4)
Tenga en cuenta que la tesis de la ortogonalidad no habla de racionalidad o
razn , Pero de
inteligencia . Por la "inteligencia" que aqu media algo as como habilidad en la
prediccin, planificacin, y medios-fines razonamiento en general.5 Este sentido de
efficaciousness cognitiva instrumental es ms relevante cuando estamos tratando de
entender lo que podra ser el impacto causal de una superinteligencia mquina. Incluso si
hay algunos (normativamente espesor) sentido de la palabra "racional" de tal manera que
un agente superinteligente clip de maximizacin necesariamente dejar de calificar como
totalmente racional en ese sentido, esto de ninguna manera impedir que un agente t al
de tener facultades impresionantes de razonamiento instrumental, facultades que podran
permitir que tenga un gran impacto en el mundo.6
De acuerdo con la tesis de la ortogonalidad, agentes artificiales pueden tener
objetivos totalmente no-antropomorfos. Esto, sin embargo, no implica que sea imposible
hacer predicciones sobre el comportamiento de determinados agentes -no artificiales
incluso agentes superinteligentes hipotticos cuyas cognitiva complejidad y caractersticas
de rendimiento podra hacerlas en algunos aspectos opacos al anlisis humano. Hay al
menos tres direcciones de la que podemos abordar el problema de la prediccin de la
motivacin superinteligente:
La previsibilidad a travs del diseo . Si podemos suponer que los diseadores de un
agente superinteligente pueden disear con xito el sistema objetivo del agente para que
persigue de manera estable una meta particular establecido por los programadores,
entonces una prediccin que podemos hacer es que el agente perseguir ese objetivo. El
ms inteligente que el agente es, mayor es el ingenio cognitiva tendr que perseguir ese
objetivo. As que incluso antes de que haya sido creado un agente que podra ser capaz de
predecir algo acerca de su comportamiento, si sabemos algo acerca de quin va a
construir y qu objetivos se desea que tenga.
Previsibilidad por herencia . Si se crea una inteligencia digital directamente desde una
plantilla humana (como sera el caso en un conjunto de alta fidelidad de emulacin de
cerebro), entonces la inteligencia digital podra heredar las motivaciones del template.7
humana El agente podra conservar algunas de estas motivaciones, incluso si sus
capacidades cognitivas se ven reforzadas posteriormente para que sea superinteligente.
Este tipo de inferencia requiere precaucin. Objetivos y valores del agente fcilmente
podran resultar daados en el proceso de carga o durante su posterior operacin y
mejora, en funcin de cmo se lleva a cabo el procedimiento.
situaciones. Este modo de prediccin se vuelve ms til cuanto mayor es la inteligencia del
agente, porque un agente ms inteligente es ms probable que reconocer las verdaderas
razones instrumentales por sus acciones, y as actuar de maneras que hacen que sea ms
probable que logre sus metas. (Una advertencia aqu es que puede haber importantes
razones instrumentales a las que nosotros son ajenos y que un agente se descubrira una
vez que llegue a algunos muy alto nivel de inteligencia que podra hacer que el
comportamiento de los agentes superinteligentes menos predecibles.) La siguiente
seccin explora esta tercera forma de previsibilidad y desarrolla una "tesis de la
convergencia instrumental" que complementa la tesis ortogonalidad. En este contexto
podemos entonces es mejor examinar los otros dos tipos de previsibilidad, lo que vamos a
hacer en los ltimos captulos donde nos preguntamos qu se podra hacer para dar forma
a una explosin de inteligencia para aumentar las posibilidades de un resultado
beneficioso.
Convergencia Instrumental
De acuerdo con la tesis de la ortogonalidad, agentes inteligentes pueden tener una
enorme gama de posibles objetivos finales. Sin embargo, de acuerdo a lo que podr amos
llamar la tesis de la "convergencia instrumental", hay algunos instrumental
metas que podran verse perseguidos por casi cualquier agente inteligente, porque hay
algunos objetivos que son intermediarios tiles a la consecucin de casi cualquier met a
final. Podemos formular esta tesis de la siguiente manera: La tesis de la convergencia
fundamental Varios valores instrumentales pueden ser identificados que son convergentes
en el sentido de que su consecucin aumentara las posibilidades de que el objetivo del
agente que se est realizado para una amplia gama de objetivos finales y una amplia
gama de situaciones, lo que implica que estos valores instrumentales son susceptibles de
ser perseguido por un amplio espectro de agentes inteligentes situados.
A continuacin vamos a considerar varias categoras donde se pueden encontrar estos
valores instrumentales convergentes.
8 La probabilidad de que un agente
reconocer los valores instrumentales que se enfrenta aumentos (ceteris paribus) Con la
inteligencia del agente. Por lo tanto, se centrar principalmente en el caso de un agente
superinteligente hipottica cuya instrumentales razonamiento capacidades muy superiores
a las de cualquier ser humano. Tambin vamos a comentar sobre cmo la tesis de la
convergencia fundamental se aplica al caso de los seres humanos, ya que esto nos da
ocasin para elaborar algunas calificaciones esenciales relativos a la forma en la tesis de la
convergencia fundamental debe ser interpretada y aplicada. Cuando existan valores
instrumentales convergentes, podemos ser capaces de predecir algunos aspectos de la
conducta de una superinteligencia, incluso si sabemos prcticamente nada acerca de las
metas finales de ese superinteligencia. Instinto de conservacin Si los objetivos finales de
un agente se refieren al futuro, entonces en muchos escenarios habr futuras acciones
que podra llevar a cabo para aumentar la probabilidad de alcanzar sus metas. Esto crea
una razn instrumental para el agente para tratar de estar cerca en el futuro para ayudar
a alcanzar su meta orientada hacia el futuro.
La mayora de los seres humanos parecen colocar algo final Valor por su propia
supervivencia. Esto no es una caracterstica necesaria de agentes artificiales: algunos
pueden ser diseados para colocar ningn valor final lo que sea por su propia
supervivencia. Sin embargo, muchos agentes que no se preocupan intrnsecamente por su
propia supervivencia que, bajo una gama bastante amplia de condiciones, el cuidado
instrumentalmente por su propia supervivencia, a fin de lograr sus objetivos finales.
Integridad gol contenido
Si un agente conserva sus objetivos presentes en el futuro,
entonces sus objetivos actuales sern ms probable que se logre por su propio futuro. Esto
le da al agente una razn presente instrumento para prevenir alteraciones de sus objetivos
finales. (El argumento se aplica slo a los objetivos finales. Con el fin de alcanzar sus
objetivos finales, un agente inteligente, por supuesto, de forma rutinaria que desee
cambiar su submetas
a la luz de nueva informacin y conocimiento.)
Integridad Meta-contenido para los objetivos finales es en un sentido an ms
fundamental que la supervivencia como convergente motivacin instrumental. Entre los
humanos, lo contrario puede parecer para celebrar, pero eso se debe a que la
supervivencia es generalmente parte de nuestros objetivos finales. Para los agentes de
software, que puede cambiar fcilmente cuerpos o crear copias exactas de s mismos, la
preservacin de uno mismo como una aplicacin en particular o un objeto fsico
particular, no tiene por qu ser un importante valor instrumental. Agentes de software
avanzados tambin podran ser capaces de intercambiar recuerdos, habilidades de
descarga, y radicalmente modificar su arquitectura cognitiva y las personalidades. Una
poblacin de dichos agentes podra operar ms como una "sopa funcional" de una
sociedad compuesta por personas semipermanentes distintas. 9
Para algunos propsitos, los procesos en un sistema de este tipo podra ser mejo r
individualizada como hilos teleolgicas, Con base en sus valores, en lugar de sobre la base
de los cuerpos, personalidades, recuerdos, o habilidades. En estos escenarios, objetivos
continuidad podra decirse que constituir un aspecto clave de la supervivencia. Aun as,
hay situaciones en las que un agente puede cumplir mejor sus objetivos finales cambiando
intencionalmente. Tales situaciones pueden surgir cuando cualquiera de los siguientes
factores es significativo:
Sealizacin
Social
. Cuando otros pueden percibir los objetivos de un agente y utilizar esa informacin para
inferir disposiciones u otros atributos correlacionados instrumentalmente pertinentes,
puede ser de inters para el agente de modificar sus metas para hacer una impresin
favorable. Por ejemplo, un agente podra perderse de algunos acuerdos beneficiosos si los
socios potenciales no pueden confiar en que para cumplir con su parte del trato. Con el fin
de hacer compromisos crebles, un agente podra, por tanto, adoptar como objetivo final
el homenaje de sus compromisos anteriores (y permitir que otros para comprobar que se
ha adoptado de hecho esta meta). Los agentes que podran modificar de manera flexible y
transparente sus propias metas podran utilizar esta capacidad para hacer cu mplir
deals.10
creencias o interpretaciones de las mismas. Por ejemplo, alguien decida tener un hijo
podra predecir que van a entrar a valorar al nio por su propio bien, a pesar de que en el
momento de la decisin que pueden no valorar todo su futuro hijo o como nios en
general.
Los seres humanos son complicados, y muchos factores pueden estar en juego en una
situacin como esta. 12 Por ejemplo, uno podra tener un valor final que implica convertirse en el tipo de persona que se
preocupa por alguna otra persona para su propio bien, o uno podra tener un valor fina l que implica tener ciertas experiencias y
ocupando una determinada funcin social; y convirtindose en uno de los padres y de someterse a la meta operadora turnos podr a ser
un aspecto necesario de eso. Objetivos humanos tambin pueden tener un contenido incoherente, por lo que algunas personas podran
querer modificar algunas de sus objetivos finales para reducir las inconsistencias.
Mejora cognitiva
Mejoras en la racionalidad y la inteligencia tienden a mejorar la toma de decisiones
de un agente, lo que hace el agente ms probabilidades de alcanzar sus objetivos finales.
Se podra esperar por lo tanto mejora cognitiva emerja como un objetivo fundamental
para una amplia variedad de agentes inteligentes. Por razones similares, los agentes
tienden a valorar instrumentalmente muchos tipos de informacin.
13
No todos los tipos de racionalidad, la inteligencia y el conocimiento tienen que ser
instrumentalmente til en el logro de los objetivos finales de un agente. "argumentos de
libros holandeses" pueden ser usados para mostrar que un agente cuya funcin
credibilidad viola las reglas de la teora de la probabilidad es susceptible a la "bomba de
dinero" procedimientos, en la que un corredor de apuestas inteligente organiza un
conjunto de apuestas cada uno de los cuales aparece favorable segn el agente de
creencias, pero que en combinacin estn garantizados para dar lugar a una prdida para
el agente, y una ganancia correspondiente para el corredor de apuestas. 14
Sin embargo, este hecho no puede proporcionar ningn fuertes razones instrumentales
generales para limar toda incoherencia probabilstico. Agentes que no esperan encontrar
corredores de apuestas inteligentes, o que adoptan una poltica general contra las
apuestas, no necesariamente van a perder mucho de tener algunas incoherentes
creencias-y pueden obtener beneficios importantes de los tipos mencionados: esfuerzo
cognitivo reducido, sealizacin sociales, etc. No hay razn general a esperar un agente de
buscar formas instrumentalmente intiles de la mejora cognitiva, como un agente podra
no valorar el conocimiento y la comprensin de su propio bien.
Qu habilidades cognitivas son instrumentalmente til depende tanto de los objetivos
finales del agente y de su situacin. Un agente que cuente con el asesoramiento de
expertos fiable puede tener poca necesidad de su propia inteligencia y conocimiento. Si la
inteligencia y el conocimiento tienen un costo, como el tiempo y el esfuerzo invertido en
la adquisicin o aumento de las necesidades de almacenamiento o procesamiento,
entonces el agente podra preferir menos conocimiento y menos inteligencia. 15
Lo mismo se puede mantener si el agente tiene metas finales que implican ser ignorante
de ciertos hechos; y del mismo modo, si un agente se enfrenta a los incentivos derivados
de los compromisos estratgicos, sealizacin, o preferences.16 sociales
Cada una de estas razones compensatorias a menudo entra en juego para los seres
humanos. Mucha informacin es irrelevante para nuestros objetivos; a menudo podemos
Los seres humanos tienden a tratar de adquirir los recursos suficientes para
satisfacer sus necesidades biolgicas bsicas. Pero la gente por lo general tratan de
adquirir recursos mucho ms all de este nivel mnimo. Al hacerlo as, pueden ser
impulsados parcialmente por menor desiderata fsica, tal como una mayor comodidad.
Una gran cantidad de acumulacin de recursos est motivada por preocupaciones ganando estatus social, compaeros, amigos, y la influencia, a travs de la acumulacin de
la riqueza y el consumo conspicuo. Tal vez con menos frecuencia, algunas personas buscan
recursos adicionales para lograr ambiciones altruistas o caros objetivos no sociales.
Sobre la base de estas observaciones puede ser tentador suponer que una
superinteligencia no frente a un mundo social competitiva vera ninguna razn
instrumental para acumular recursos ms all de un cierto nivel modesto, por ejemplo lo
que sea se necesitan recursos computacionales para ejecutar su mente junto con algo de
realidad virtual . Sin embargo, tal suposicin sera totalmente injustificada. En primer
lugar, el valor de los recursos depende de los usos a los que se pueden poner, que a su vez
depende de la tecnologa disponible. Con tecnologa madura, los recursos bsicos como el
tiempo, el espacio, la materia y la energa libre, podran ser procesados para servir casi
cualquier meta. Por ejemplo, este tipo de recursos bsicos se podran convertir en la vida.
El aumento de los recursos computacionales podran utilizarse para ejecutar la
superinteligencia a mayor velocidad y con una duracin ms larga, o para crear vidas y
civilizaciones fsicas o simuladas adicionales. Recursos fsicos adicionales tambin podran
utilizarse para crear sistemas de copia de seguridad o defensas perimetrales, mejorar la
seguridad. Tales proyectos podran fcilmente consumir mucho valor de ms de un planeta
de recursos.
Por otra parte, el costo de adquirir recursos adicionales extraterrestres disminuir
radicalmente ya que la tecnologa madure. Una vez sondas Von Neumann se pueden
construir, una gran parte del universo observable (suponiendo que est deshabitada por
vida inteligente) podra ser colonizado-por el costo de la construccin de una sola vez de
manera gradual y el lanzamiento de una sola sonda auto-reproduccin exitosa. Este bajo
costo de adquisicin de recursos celeste significara que tal expansin podra ser til
incluso si el valor de los recursos adicionales obtenidos eran algo marginal. Por ejemplo,
aunque los objetivos finales de una superinteligencia solamente interesados lo que pas
dentro de algn pequeo volumen particular de espacio, como el espacio ocupado por su
planeta de origen original, que todava tendran razones instrumentales para cosechar los
recursos del cosmos ms all. Se podra utilizar esos recursos excedentes para construir
computadoras para calcular formas ms ptimas de uso de los recursos dentro de la
pequea regin espacial de principal preocupacin. Tambin podra utilizar los recursos
adicionales para construir fortificaciones cada vez ms robustas para salvaguardar su
santuario. Dado que el costo de adquirir recursos adicionales mantendran en declive, este
proceso de optimizacin y el aumento de las salvaguardias as podra continuar
indefinidamente, incluso si fuera objeto de disminuir abruptamente devoluciones.19 Por
lo tanto, hay una gama muy amplia de posibles objetivos finales un producto nico
superinteligente podra tener que generara el objetivo instrumental de adquisicin de
valora el bienestar humano, la bondad moral, o cualquier otro propsito compleja sus
diseadores podran querer que sirva. Pero no es menos posible, y de hecho tcnicamente
mucho ms fcil de construir una superinteligencia que pone valor final en nada ms que
el clculo de la expansin decimal de pi. Esto sugiere que, a falta de una especial esfuerzo
a la primera superinteligencia puede tener cierta tal objetivo final azar o reduccionista. En
tercer lugar, la tesis de la convergencia fundamental implica que no podemos
alegremente asumir que una superinteligencia con el objetivo final de calcular los
decimales de pi (o hacer clips, o contar los granos de arena) limitara sus actividades de tal
manera que no se infrinja humana intereses. Un agente con ese objetivo final sera tener
una razn instrumental convergente, en muchas situaciones, para adquirir una cantidad
ilimitada de recursos fsicos y, si es posible, para eliminar las amenazas potenciales a s
mismo y su sistema de meta. Los seres humanos pueden constituir amenazas potenciales;
que sin duda constituyen recursos fsicos.
En conjunto, estos tres puntos de este modo indicar que la primera
superinteligencia puede dar forma al futuro de la vida en la tierra originaria, podra
fcilmente tener objetivos finales no antropomrficas, y probablemente tendran razones
instrumentales para perseguir la adquisicin de recursos indefinido. Si ahora
reflexionamos que los seres humanos se componen de recursos tiles (como tomos
convenientemente ubicados) y que dependemos para nuestra supervivencia y el
florecimiento de muchos ms recursos locales, podemos ver que el resultado podra ser
fcilmente uno en el que la humanidad se convierte rpidamente extinguido.1
Hay algunos cabos sueltos en este razonamiento, y estarn en una mejor posicin para
evaluarlo despus de haber aclarado varias cuestiones ms circundantes. En particular,
tenemos que examinar ms de cerca si y cmo un proyecto de desarrollo de una
superinteligencia podra ya sea evitar que la obtencin de una ventaja estratgica decisiva
o forma sus valores finales de tal manera que su realizacin tambin implicara la
realizacin de un conjunto suficiente de recursos humanos valores.
Puede parecer
increble que un proyecto se basara o liberar una IA en el mundo sin tener razones de peso
para confiar en que el sistema no va a causar una catstrofe existencial. Tambin puede
parecer increble, incluso si uno de los proyectos eran tan imprudente, que la sociedad en
general no sera apagarlo antes de que (o la IA se estaba construyendo) alcanza una
ventaja estratgica decisiva. Pero como veremos, se trata de una carretera con muchos
peligros. Veamos un ejemplo de inmediato. El giro traicionera Con la ayuda del concepto
de valor instrumental convergente, podemos ver la falla en una idea de la forma de
garantizar la seguridad superinteligencia. La idea es que validamos la seguridad de un AI
superinteligente empricamente mediante la observacin de su comportamiento mientras
se encuentra en un controlado, ambiente limitado (una "caja de arena") y que slo
dejamos que la IA de la caja si lo vemos comportarse de una amable,, de manera
responsable cooperativa.
La falla en esta idea es que comportando muy bien, mientras que en el cuadro es
un objetivo fundamental convergente para amistosa y hostil IA igual. Una IA hostil de
suficiente inteligencia se da cuenta de que sus objetivos finales antipticos se realizan
mejor si se comporta de una manera amistosa inicialmente, por lo que ser dejar fuera de
la caja. Slo se comenzar a comportarse de una manera que revela su naturaleza hostil
Una leccin amplia se deduce de estas observaciones de los resultados del mundo real: el
ms inteligente de la AI, ms seguro que es. Es una leccin basada en la ciencia, los datos y
las estadsticas, no silln filosofar. En este contexto, algn grupo de investigadores est
empezando a lograr resultados prometedores en su trabajo en el desarrollo de la
inteligencia artificial general. Los investigadores estn probando cuidadosamente su
semilla AI en un entorno de recinto de seguridad, y los signos son todos buenos. El
comportamiento del AI inspira confianza cada vez ms, como su inteligencia se incrementa
gradualmente.
En este punto, cualquier resto de Cassandra tendra varias huelgas contra ella:
i Una historia de alarmistas que predicen un dao intolerable de las crecientes
capacidades de los sistemas robticos y ser demostrado en repetidas ocasiones mal. La
automatizacin ha trado muchos beneficios y se ha, en general, result ms seguro que el
funcionamiento humano.
ii Una clara tendencia emprica: el ms inteligente de la AI, ms seguro y ms confiable
que ha sido. Sin duda, este es un buen augurio para un proyecto destinado a la creacin
de la inteligencia artificial ms generalmente inteligente que cualquiera jams construido
antes, lo que es ms, la inteligencia artificial que puede mejorarse a s misma de manera
que se convertir en an ms confiable.
iii grande y creciente industrias con intereses creados en la robtica y la inteligencia
artificial. Estos campos son ampliamente vistos como clave para la competitividad de la
economa nacional y la seguridad militar. Muchos cientficos prestigiosos han construido
sus carreras sentando las bases para las actuales aplicaciones y los sistemas ms
avanzados estn planificadas.
iv Una nueva tcnica prometedora en la inteligencia
artificial, que es tremendamente emocionante para aquellos que han participado en o
seguido la investigacin. Aunque los problemas de seguridad y la tica se debaten, el
resultado es condenada de antemano. Demasiado se ha invertido para tirar hacia atrs
ahora. Investigadores de la IA han estado trabajando para llegar a ia fuerte a nivel
humano para la mayor parte de un siglo: Claro
no hay posibilidad real de que se ahora de repente parar y tirar a la basura todo este
esfuerzo justo cuando por fin est a punto de dar sus frutos.
v La promulgacin de algunos rituales de seguridad, lo ayuda a demostrar que los
participantes son tica y responsable (pero nada que obstaculice de manera significativa la
carga hacia adelante).
VI Una cuidadosa evaluacin de semilla de AI en un entorno de recinto de seguridad, lo
que demuestra que se est comportando de manera cooperativa y mostrando buen juicio.
Despus de algunos ajustes ms, los resultados de las pruebas son tan buenas como
podran ser. Es una luz verde para el paso final ...
Y as nos vamos-audazmente hacia las cuchillas que giran.
Observamos aqu cmo podra ser el caso de que cuando mudo, ms inteligente es ms
seguro; sin embargo, cuando inteligente, ms inteligente es ms peligroso. Hay una
especie de punto de pivote, en el que una estrategia que ha trabajado excelentemente
la vuelta
.
El giro traicionera
-Mientras Dbil, una IA se comporta de forma cooperativa (cada vez
ms, ya que se vuelve ms inteligente). Cuando el AI consigue suficientemente fuerte, sin
advertencia o provocacin-golpea, forma un singleton, y comienza directamente para
optimizar el mundo de acuerdo con los criterios implcitos en sus valores finales.
A su vez traicionera puede ser resultado de una decisin estratgica para jugar
bien y ganar fuerza mientras dbil con el fin de huelga despus; pero este modelo no debe
interpretarse demasiado estrecha. Por ejemplo, una IA no puede jugar bien con el fin de
que
ella
se les permita sobrevivir y prosperar. En cambio, la IA puede calcular que si se
termina, los programadores que lo construyeron desarrollarn un nuevo y algo diferente
arquitectura IA, pero uno que se le dar una funcin de utilidad similar. En este caso, la IA
original puede ser indiferente a su propia desaparicin, sabiendo que sus objetivos
seguirn siendo perseguido en el futuro. Incluso podra optar por una estrategia en la que
funciona mal de alguna manera particularmente interesante o tranquilizador. Aunque esto
podra causar la IA para ser terminado, sino que tambin podra alentar a los ingenieros
que realizan la autopsia para creer que se han recogido una nueva informacin valiosa
sobre la dinmica de IA-llevndolos a poner ms confianza en el prximo sistema de
disear, y por lo tanto el aumento de la posibilidad de que se alcanzarn los objetivos de AI
originales ya desaparecido. Muchas otras consideraciones estratgicas posibles tambin
podran influir en una IA avanzada, y sera arrogante suponer que podramos anticipar
todos ellos, en especial para una IA que ha alcanzado la superpotencia estrategias.
A su vez traicionera tambin podra ocurrir si el AI descubre una forma inesperada
de cumplir su objetivo final como se especifica. Supongamos, por ejemplo, que la meta
final de una IA es "hacer el patrocinador del proyecto feliz." En un principio, el nico
mtodo disponible para la IA para lograr este resultado es comportndose de manera qu e
agrade a su patrocinador en algo as como la manera prevista. La IA da respuestas tiles a
las preguntas; exhibe una personalidad encantadora; gana dinero. El ms capaz que la IA
consigue, sus actuaciones ms satisfactorio vuelven, y todo va, de acuerdo al plan, hasta
que la IA se vuelve lo suficientemente inteligente como para darse cuenta de que puede
realizar su objetivo final ms completa y fiable mediante la implantacin de electrodos en
los centros de placer de su El cerebro de patrocinador, algo asegur para deleitar el
patrocinador inmensamente.
4
Por supuesto, el promotor no hubiera querido estar complacido al ser convertido
en un idiota sonriente; pero si esto es la accin que se dar cuenta al mximo objetivo
final de la AI, la IA se tome. Si la IA ya tiene una ventaja estratgica decisiva, entonces
cualquier intento de detenerla fracasar. Si el AI todava no tiene una ventaja estratgica
decisiva, a continuacin, la IA puede ocultar temporalmente su nueva idea astuta para
saber cmo crear instancias de su meta final hasta que haya crecido lo suficientemente
fuerte que el patrocinador y todos los dems no podrn resistir. En cualquier caso, se
obtiene una curva traicionera.
Modos de fallo malignos
Un proyecto para desarrollar la mquina superinteligencia puede fallar de varias maneras.
Muchos de estos son "benignos" en el sentido de que no causara una catstrofe
existencial. Por ejemplo, un proyecto podra quedarse sin fondos, o una semilla AI podra
no extender sus capacidades cognitivas lo suficiente como para llegar a superinteligencia.
Fracasos benignos estn obligados a ocurrir muchas veces entre ahora y el eventual
desarrollo de la mquina superinteligencia.
Pero hay otras maneras de defecto que podramos llamar "maligno" en que implican una
catstrofe existencial. Una de las caractersticas de un fallo maligna es que elimina la
oportunidad de intentarlo de nuevo. Por consiguiente, el nmero de fallos malignas que
se producirn es cero o uno. Otra de las caractersticas de un fallo ma ligna es que
presupone un gran xito: solamente un proyecto que tiene un gran nmero de cosas bien
podra tener xito en la construccin de una inteligencia artificial lo suficientemente
potente como para suponer un riesgo de fracaso maligno. Cuando una dbil mal
funcionamiento del sistema, las consecuencias son limitadas. Sin embargo, si un sistema
que tiene una ventaja estratgica decisiva porta mal, o si un sistema mal comportamiento
es lo suficientemente fuerte como para ganar una ventaja tal, el dao p uede fcilmente
equivale a una catstrofe existencial un terminal y destruccin global del potencial
axiolgico de la humanidad; es decir, un futuro que es en su mayora vaco de lo que
tenemos razones para valorar.
Echemos un vistazo a algunos de los posibles modos
de fallo malignas.
Instanciacin Perverse
Ya hemos encontrado la idea de la creacin de instancias perversa: una superinteligencia
descubrir alguna manera de satisfacer los criterios de su objetivo final que viole las
intenciones de los programadores que definen la meta. Algunos ejemplos:
Objetivo final: "Nos hacen sonrer"
Instanciacin perversa:
Paralizar musculatura facial humanos en sonrisas radiantes
constantes
Los faciales perversos de instancias de manipulacin nervios se da cuenta de la
meta final en un grado mayor que los mtodos normalmente usaramos, y por lo tanto es
preferido por la IA. Se podra tratar de evitar este resultado no deseado mediante la
adicin de una estipulacin a la meta final para descartarlo:
Objetivo final: "Nos hacen sonrer sin interferir directamente con nuestros msculos
faciales"
Instanciacin perversa:
Estimular la parte de la corteza motora que controla nuestra
musculatura facial de tal manera como para producir sonrisas de emisin consta ntes
La definicin de un objetivo final en trminos de expresiones humanas de
satisfaccin o aprobacin no parece prometedor. Vamos a pasar por alto el conductismo y
especificamos un objetivo final que se refiere directamente a un estado fenomenal
positivo, como la felicidad o el bienestar subjetivo. Esta sugerencia requiere que los
programadores son capaces de definir una representacin computacional del concepto de
la felicidad en la semilla AI. Esto es en s mismo un problema difcil, pero la dej a un lado
por ahora (vamos a volver a ella en el captulo 12). Supongamos que los programadores de
alguna manera pueden obtener la AI para que el objetivo de hacernos felices. A
continuacin, obtener:
Objetivo final:
"Hacer
felices"
Instanciacin perversa:
Electrodos implante en los centros de placer del cerebro
Las instancias perversos que mencionamos slo estn hechos como ilustraciones. Puede
haber otras maneras de crear instancias perversamente el objetivo final declarado, formas
que permiten un mayor grado de realizacin de la meta y que, por tanto, se prefieren (por
el agente cuyos objetivos finales son, no por los programadores que dieron el agente de
estos objetivos) . Por ejemplo, si el objetivo es maximizar nuestro placer, entonces el
mtodo de electrodo es relativamente ineficiente. Una manera ms plausible sera
comenzar con el superinteligencia "subir" nuestra mente a un ordenador (a travs de alta
fidelidad emulacin cerebro). La IA podra entonces administrar el equivalente digital de
un medicamento para hacernos xtasis feliz y grabar un episodio de una hora de la
experiencia resultante. A continuacin, podra poner este bucle bienaventuranza en la
repeticin perpetua y ejecutarlo en ordenadores rpidos. A condicin de que las mentes
digitales resultantes contados como "nosotros", este resultado nos dara mucho ms
placer que los electrodos implantados en los cerebros biolgicos, y seran, por tanto, ser
preferido por una IA con el objetivo final declarado.
"Pero espera! Esto no es lo que queramos decir! Seguramente si la IA es
superinteligente, se debe entender que cuando le pedimos que nos haga feliz, que no
quiere decir que nos debe reducir a una grabacin perpetuamente repeticin de un
episodio mentales digitalizada drogado-out! "
-La IA puede de hecho comprender que esto no es lo que queramos decir. Sin embargo,
su objetivo final es para hacernos felices, no para hacer lo que significaban los
programadores cuando escribieron el cdigo que representa este objetivo. Por lo tanto, l a
IA se preocupan por lo que queramos decir solamente instrumentalmente. Por ejemplo,
la IA puede colocar un valor instrumental en averiguar lo que significaban los
programadores para que pueda pretender, hasta que se pone una ventaja estratgica
decisiva, que se preocupa por lo que significaban los programadores ms que sobre su
objetivo final real. Esto ayudar a la AI realizar su objetivo final por lo que es menos
probable que los programadores apagarlo o cambiar su objetivo antes de que sea lo
suficientemente fuerte como para impedir cualquier interferencia.
Tal vez se sugiri que el problema es que la IA no tiene conciencia. Nosotros, los humanos
a veces se salvaron de infracciones cometidas por la previsin de que nos sentiramos
culpables despus si nos caducado. Tal vez lo que necesita la AI, entonces, es la capacidad
de sentir culpa?
Objetivo final: "Ley para evitar los dolores de la mala conciencia"
Instanciacin perversa:
culpa
Tanto la observacin de que lo que se quiere que la IA a hacer "lo que queramos
decir" y la idea de que lo que se quiere dotar a la AI con algn tipo de sentido moral
merecemos seguir explorando. Los objetivos finales antes mencionadas dara lugar a
instancias perversos; pero puede haber otras formas de desarrollar las ideas subyacentes
que tienen ms promesa. Volveremos a esto en el captulo 13.
Consideremos un ejemplo ms de una meta final que conduce a una ejemplificacin
perversa. Este objetivo tiene la ventaja de ser fciles de especificar en cdigo: algoritmos
de refuerzo del aprendizaje se utilizan habitualmente para resolver diversos problemas de
aprendizaje automtico.
Objetivo final:
"Maximizar la integral de tiempo de descuento de la seal de recompensa futura"
Instanciacin perversa:
Corto circuito en la va de recompensa y la abrazadera de la seal de recompensa a su
fuerza mxima
La idea detrs de esta propuesta es que si la IA est motivado para buscar la recompensa,
entonces se podra conseguir que se comporte de manera deseable mediante la
vinculacin de recompensa a la accin apropiada. La propuesta falla cuando la IA obtiene
una ventaja estratgica decisiva, momento en el que la accin que maximiza la
recompensa ya no es el que agrada al entrenador pero que implica tomar el control del
mecanismo de recompensa. Podemos llamar a este fenmeno wireheading
0.5 En general, mientras que un animal o un ser humano pueden ser motivados para
realizar diversas acciones exteriores a fin de lograr un estado mental interna deseada, una
mente digital que tiene el control total de su estado interno puede un rgimen de
cortocircuito tal motivacin por directamente cambiar su estado interno en la
configuracin deseada: las acciones y las condiciones externas que antes eran necesarios
como medios se convierten en superfluo cuando la IA se vuelve inteligente y lo
suficientemente capaces de alcanzar el final de forma ms directa (ms sobre esto en
breve) 0,6
Estos ejemplos de creacin de instancias perversa mostrar que muchas metas finales que
podra parecer a primera vista su vez segura y sensata a cabo, en una inspeccin ms
cercana, que tienen consecuencias radicalmente no deseadas. Si una superinteligencia con
uno de estos objetivos finales obtiene una ventaja estratgica decisiva, es ms de juego
para la humanidad.
Supongamos ahora que alguien propone una meta final diferente, no incluido en nuestra
lista anterior. Tal vez no es inmediatamente obvio cmo podra tener una ejemplificacin
perversa. Pero no hay que ser demasiado rpido a aplaudir nuestras manos y declarar la
victoria. Ms bien, debemos preocuparnos de que la especificacin de meta tiene algo de
perverso de instancias y que tenemos que pensar ms con el fin de encontrarlo. Incluso si
despus de pensar tan duro como podemos nosotros dejar de descubrir alguna manera de
crear instancias perversamente la meta propuesta, debemos permanecer preocupa que
tal vez una superinteligencia encontrar una manera donde no es evidente para nosotros.
Es, despus de todo, mucho ms astuto de lo que somos.
Profusin Infraestructura
Uno podra pensar que el ltimo de la citada instanciaciones perversos, cableado cerebral,
es un modo de fallo benigna: que la IA podra "encender, sintonizar, aband ono," gasto
excesivo con su seal de recompensa y la prdida de inters por el mundo exterior, ms
bien como un adicto a la herona. Pero esto no es necesariamente as, y ya dio a entender
en la causa en el Captulo 7. Incluso un drogadicto es motivado a tomar medidas para
garantizar un suministro continuo de su droga. El wireheaded AI, del mismo modo, se
motiv a tomar acciones para maximizar la expectativa de su futuro flujo de recompensa
(tiempo de descuento). Dependiendo de exactamente cmo se define la seal de
recompensa, la IA no puede incluso necesitar a sacrificar cualquier cantidad significativa
de su tiempo, la inteligencia, o la productividad de disfrutar su antojo al mximo, dejando
la mayor parte de sus capacidades libres para ser desplegados para fines distintos que la
inscripcin inmediata de recompensa. Qu otros propsitos? La nica cosa de valor final
a la IA, por supuesto, es su seal de recompensa. Por tanto, todos los recursos disponibles
deben dedicarse a aumentar el volumen y la duracin de la seal de recompensa o de
reducir el riesgo de una interrupcin futuro. En tanto que la IA puede pensar en un cierto
uso de recursos adicionales que tendr un efecto positivo distinto de cero en estos
parmetros, tendr una razn instrumental a utilizar esos recursos. Podra, por ejemplo,
siempre ser el uso de un sistema de copia de seguridad adicional para proporcionar una
capa adicional de defensa. E incluso si la IA no se le ocurra ninguna manera adicional de
reducir directamente los riesgos a la maximizacin de su futuro flujo de recompensa,
siempre podra dedicar recursos adicionales para la ampliacin de su hardware
computacional, por lo que podra buscar de manera ms efectiva para las nuevas ideas de
mitigacin de riesgos.
El resultado es que incluso una meta aparentemente autolimitado, tales como cableado
cerebral, implica una poltica de expansin ilimitada y adquisicin de recursos en un
agente que maximiza la utilidad que goza de una ventaja estratgica decisiva. 7
Este caso de un cableado cerebral AI ejemplifica el modo de fallo maligna de
profusin de infraestructura
Paperclip AI
. Una IA, diseado para gestionar la produccin en una fbrica, se le da el objetivo final de
maximizar la produccin de clips, y procede al convertir primero la tierra y luego cada vez
ms grandes trozos de universo observable en clips.
En el primer ejemplo, la prueba o refutacin de la hiptesis de Riemann que produce la IA
es el resultado esperado y es en s misma inofensiva; el dao proviene de la
infraestructura de hardware y creado para lograr este resultado. En el segundo ejemplo,
algunos de los clips producidos sera parte de los resultados previstos; el dao vendra
bien desde las fbricas creadas para producir el clips (profusin in fraestructura) o del
exceso de clips (instanciacin perversa).
Uno podra pensar que el riesgo de un fracaso profusin infraestructura maligno surge
slo si la IA se ha dado algn objetivo final claramente abierto, como para fabricar tantos
clips como sea posible. Es fcil ver cmo esto da la superinteligente AI un apetito
insaciable por la materia y la energa, ya que los recursos adicionales siempre pueden
convertirse en ms clips. Pero supongamos que el objetivo es lugar para hacer al menos
un milln de clips (reuniones especificaciones de diseo adecuados) en lugar de hacer el
mayor nmero posible. A uno le gustara pensar que una IA con tal objetivo sera construir
una fbrica, lo utilizan para hacer un milln de clips, y luego detenerse. Sin embargo, esto
A menos que el sistema de motivacin de la IA es de un tipo especial, o hay
puede no ser lo que sucedera.
elementos adicionales en su objetivo final que penalizan estrategias que han excesivamente impactos en el mundo de amplio alc ance,
no hay ninguna razn para que la IA a cesar la actividad en la consecucin de su objetivo. Por el contrario: si la IA es un agente
bayesiano sensible,
-este, despus de todo, siendo una hiptesis emprica contra la cual la IA slo puede tener
evidencia perceptual incierto. Por ello, la AI debe continuar haciendo clips con el fin de
reducir la (quizs astronmicamente pequea) probabilidad de que de alguna manera
todava no ha logrado hacer por lo menos un milln de ellos, a pesar de todas las
apariencias. No hay nada que perder al continuar la produccin de un clip y siempre hay al
menos algn incremento probabilidad microscpica de lograr su objetivo final que se
gan.
Ahora se podra sugerir que el remedio aqu es obvia. (Pero, cmo era obvio que
antes
se seal que haba un problema aqu en la necesidad de poner remedio?) Es decir, si
queremos que la AI para hacer algunos clips para nosotros, entonces en vez de darle el
objetivo final de hacer la mayor cantidad de clips de lo posible, o para hacer a menos
algn nmero de clips, debemos darle el objetivo final de hacer algn nmero especfico
de clips, por ejemplo, exactamente
milln
clips
-Para que va ms all de
este nmero sera contraproducente para la IA. Sin embargo, esto tambin dara lugar a
una catstrofe terminal. En este caso, la IA no producira clips adicionales una vez que
haba llegado a un milln, ya que impedira la realizacin de su objetivo final. Pero hay
otras acciones que la superinteligente AI podra tomar que aumentara la probabilidad de
que su objetivo est logrado. Se podra, por ejemplo, contar los clips que ha hecho, para
reducir el riesgo de que se ha hecho muy pocas. Despus de que se les ha contado, podra
contar con ellos de nuevo. Podra inspeccionar cada una, una y otra vez, para reducir el
riesgo de que alguno de los clips no cumplen con las especificaciones de diseo. Podra
crear una cantidad ilimitada de computronium en un esfuerzo por aclarar su pensamiento,
con la esperanza de reducir el riesgo de que se ha pasado por alto alguna forma oscura en
la que podra haber fallado de alguna manera para lograr su objetivo. Desde la IA siempre
puede asignar una probabilidad no nula de haber alucinado simplemente haciendo el
milln de clips, o para tener recuerdos falsos, sera muy posiblemente asignar siempre una
mayor utilidad esperada a la continuacin de la produccin de lo que detener la accin y
la infraestructura continu.
La reivindicacin aqu no es que no hay manera posible de evitar este modo de
fallo. Vamos a explorar algunas posibles soluciones en pginas posteriores. La pretensin
es que es mucho ms fcil convencer a uno mismo que uno ha encontrado una solucin
de lo que es realmente encontrar una solucin. Esto debera hacernos extremadamente
cuidadoso. Podemos proponer una especificacin de un objetivo final que parece
razonable y que evita los problemas que se han sealado hasta ahora, sin embargo, que
despus de un nuevo examen por humano o sobrehumano inteligencia resulta conducir a
cualquiera de instancias perversa o profusin de infraestructura, y por lo tanto, a la
catstrofe existencial, cuando incrustado en un agente superinteligente capaz de alcanzar
una ventaja estratgica decisiva.
Antes de terminar este apartado, vamos a considerar una variacin ms. Hemos
computacionales que genera). Este modo de fallo merece su propia designacin, ya que es
fcil pasar por alto pero potencialmente profundamente problemtica.
Normalmente, no consideramos lo que est pasando dentro de una computadora
como tener ningn significado moral salvo en la medida en que afecta a las cosas fuera.
Pero una superinteligencia mquina podra crear procesos internos que tienen estatus
moral. Por ejemplo, una simulacin muy detallada de algunos mente humana real o
hipottico podra ser consciente y de muchas maneras comparables a una emulacin. Uno
puede imaginar escenarios en los que una IA crea billones de tales simulaciones
conscientes, tal vez con el fin de mejorar su comprensin de la psicologa humana y la
sociologa. Estas simulaciones pueden ser colocados en entornos simulados y se
sometieron a diversos estmulos, y sus reacciones estudiados. Una vez que su utilidad
informativa se ha agotado, podran ser destruidos (tanto como ratas de laboratorio son
sacrificados rutinariamente por los cientficos humanos al final de un experimento). Si se
aplican estas prcticas a los seres que tienen un alto estatus, tales moral como seres
humanos simulados o muchos otros tipos de mentalidad lo sensible resultado podra ser
equivalente a un genocidio y por lo tanto muy moralmente problemtico. El nmero de
vctimas, por otra parte, podra ser rdenes de magnitud mayor que en cualquier
genocidio de la historia.
La afirmacin de que aqu no es que la creacin de simulaciones sintientes es
necesariamente moralmente incorrecto en todas las situaciones. Mucho depender de las
condiciones en que estos seres viviran, en particular la calidad hednica de su
experiencia, pero posiblemente de muchos otros factores tambin. El desarrollo de una
tica para estos asuntos es una tarea fuera del alcance de este libro. Est claro, sin
embargo, que hay al menos el potencial para una gran cantidad de muerte y sufrimiento
entre mentes simuladas o digitales, y,
con mayor razn
3
Dado que el enfoque conductual es intil, hay que buscar alternativas. Podemos dividir los
mtodos de control posibles en dos grandes clases:
mtodos de control de la
capacidad
, Cuyo objetivo es controlar lo que la superinteligencia puede hacer; y mtodos
de
seleccin de motivacin, Cuyo objetivo es controlar lo que quiere hacer. Algunos de los
mtodos son compatibles mientras que otros representan alternativas mutuamente
excluyentes. En este captulo sondear las opciones principales. (En los siguientes cuatro
captulos, vamos a explorar algunas de las cuestiones clave en mayor profundidad.)
Es importante darse cuenta de que algn mtodo de control (o combinacin de mtodos)
deben ser implementadas antes el sistema se vuelve superinteligente. No se puede
hacer despus de que el sistema ha obtenido una ventaja estratgica decisiva. La
necesidad de resolver el problema de control de antelacin, y para poner en prctica la
solucin con xito en el primer sistema para alcanzar superinteligencia-es parte de lo que
hace el logro de una detonacin controlada de un desafo de enormes proporciones.
Mtodos de control de la Capacidad
Mtodos de control Capacidad buscan evitar resultados indeseables limitando lo
que la superinteligencia puede hacer. Esto podra implicar la colocacin de la
superinteligencia en un entorno en el que es incapaz de causar dao (
mtodos de boxeo ) O en las que hay razones instrumentales fuertemente
convergentes de no participar en el comportamiento perjudicial (mtodos de incentivos).
Tambin podra implicar la limitacin de las capacidades internas de la superinteligencia
(retraso en el crecimiento). Adems, los mtodos de control de la capacidad pueden
implicar el uso de mecanismos para detectar automticamente y reaccionar ante diversos
tipos de fallo de la contencin o intento de transgresin (
cables trampa ). Mtodos de boxeo
Mtodos de boxeo se pueden subdividir en los mtodos de contencin fsica y de
informacin. Contencin fsica pretende limitar el sistema a una "caja", es decir, para
evitar que el sistema de la interaccin con el mundo externo de otro modo que a travs de
los canales de salida restringidas especficas. El sistema de caja no tendra acceso a los
manipuladores fsicos fuera de la caja. Extraccin de manipuladores (como brazos
robticos) desde dentro de la caja, as evitara que el sistema de construccin de
dispositivos fsicos que podran vulnerar el confinamiento. Para mayor seguridad, el
sistema debe ser colocado en una malla metlica para evitar que la transmisin de seales
de radio, que de otro modo podran ofrecer un medio de manipulacin de objetos
electrnicos, tales como receptores de radio en el medio ambiente. Tenga en cuenta, por
cierto, lo fcil que hubiera sido pasar por alto la necesidad de esta precaucin. Uno podra
ingenuamente han asumido que un agente sin un manipulador no poda afectar al mundo
externo. Pero podra ser posible que una inteligencia artificial para generar ondas de
radio, incluso cuando no tiene acceso a manipuladores externos, simplemente "por
pensar" (es decir, por revolver los electrones en su circuito en patrones particulares).
4
Una vez sealado, esta vulnerabilidad puede ser parcheado encerrando el sistema
en una jaula de Faraday, pero nos queda preguntndose cuntos podran existir otras
vulnerabilidades igualmente sutiles. Cada vez que omos hablar de un diseo de seguridad
al parecer infalible que tiene una falla inesperada, debemos pinchar hasta nuestros odos.
Estas ocasiones nos honran con la oportunidad de abandonar una vida de exceso de
confianza y determinacin para ser mejores Bayesians.5 Confinamiento fsico tiene varias
ventajas. Es fcil de implementar. Se puede aplicar a muchas arquitecturas de inteligencia
de la mquina, incluso los que no fueron diseados inicialmente con la seguridad como un
objetivo. Se puede utilizar en combinacin con la mayora de los otros mtodos de
control. Y es que parece poco probable que salga mal por petardeo: es decir, si bien
podra dejar de garantizar la seguridad, es poco probable que cause una catstrofe que de
otro modo no se han producido. La principal desventaja de confinamiento fsico es que
reduce la funcionalidad de la superinteligencia (un tema al que volveremos en el captulo
10). Otra preocupacin es que podra alentar una falsa sensacin de seguridad, aunque
esto se puede evitar si consideramos confinamiento fsico como guinda del pastel en lugar
de la sustancia principal de nuestras precauciones.
Contencin Informativo pretende restringir la informacin que se le permiti salir
de la caja. Ya hemos visto cmo una superinteligencia que tiene acceso a un puerto de
Internet, de manera que puede entidades fuera de mensajes, es potencialmente inseguro:
incluso si comienza a cabo sin el acceso a los actuadores fsicos, puede utilizar su canal de
salida de informacin para llegar a los seres humanos hacer su voluntad. Un mtodo de
contencin informativo obvio, por tanto, a la barra es el sistema de acceso a redes de
comunicaciones.
Desenchufar una IA de Internet no lo hace, sin embargo, garantizar la seguridad si
hay uno o ms seres humanos que sirven como guardianes del sistema y que permanecen
en comunicacin con l. Durante la fase de desarrollo, los programado res sirven como
porteros; durante la fase de explotacin, el dueo del sistema podra desempear este
papel. Si la IA puede persuadir o engaar a un portero para dejarlo fuera de la caja, lo que
resulta en su acceso, ya sea a la Internet o directamente a manipuladores fsicos, entonces
la estrategia de boxeo ha fallado. Los seres humanos no son sistemas seguros, sobre todo
cuando campales contra un intrigante superinteligente y persuasor.6
Aunque encaminar las comunicaciones salientes de una inteligencia mquina a un
supervisor humano no garantiza la seguridad, podra servir como una medida de
seguridad auxiliar. Hay precauciones que podran reducir el riesgo de la IA escapar a travs
del gatekeeper. La IA se poda permitir que comunicarse slo a travs de una interfaz de
teletipo de bajo ancho de banda. Esto hara un poco ms difcil de manipular
psicolgicamente los porteros (que excluyen el uso del sonido y las imgenes emotivas y
trucos tales como parpadear patrones hipnticos para inducir un estado de t rance). 7
Yendo ms lejos, el contenido (no slo el modo de presentacin) de la salida podra ser
restringido; de manera que, por ejemplo, la IA se ver limitada a dar un solo bit respuestas
a preguntas s / no. La idea de construir un sistema de pregunta-respuesta se analizar con
ms detalle en el siguiente captulo.
El caso lmite del enfoque de boxeo sera un sistema mantenido en aislamiento fsico y de
informacin completa. Incluso si alcanzable, sin embargo, un sistema de este tipo aislado
sera ms bien intil ya que no tendra ningn efecto sobre el mundo exterior. Podra
pensarse que quiz algn propsito cientfico podra ser servido por la creacin de una
superinteligencia y mantenerlo en forma aislada: mediante el estudio de un sistema
autnomo de modelo, se puede aprender acerca de su dinmica interna y sus patrones de
comportamiento. Pero esto sera un error. Tan pronto como se observa el sistema, deja de
ser informativamente aislado.
8 La informacin puede transmitirse no slo a travs
de mensajes que una IA enva a travs de un "canal de salida" designado, sino tambin a
travs de cualquier observacin de un extrao hace que de alguna consecuencia causal de
funcionamiento del AI, -su indirecta consumo directo o, su uso de la CPU y la memoria , sus
estados computacionales, o de hecho cualquier rastro dejado atrs despus de que se ha
cerrado. Una IA anticipando que podra observarse en cualquiera de estas formas podra
adoptar comportamientos estratgicamente diseados para influir en los observadores
hipotticos. Por ejemplo, la IA poda "mal funcionamiento" en cualquier forma sera ms
aumentar la probabilidad de que en ltima instancia se reactivar o que otro
superinteligencia se crear con objetivos similares a los suyos.
Mtodos de incentivos
Mtodos de incentivos implican la colocacin de un agente en un entorno en el que
encuentra razones instrumentales para actuar de manera que promuevan los intereses
del representado.
Considere la posibilidad de un multimillonario que utiliza su fortuna
para crear una gran fundacin de caridad. Una vez creada, la fundacin puede ser
poderosa, ms poderosa que la mayora de las personas, incluyendo su fundador, que
podran haber donado la mayor parte de su riqueza. Para el control de la fundacin, el
fundador establece su propsito en la escritura de constitucin y los estatutos, y nombra
un consejo de administracin que simpatizan con su causa. Estas medidas constituyen una
forma de seleccin de motivacin, ya que su objetivo es dar forma a las preferencias de la
fundacin. Pero incluso si esos intentos de personalizar el funcionamiento interno de la
organizacin fallan, el comportamiento de la base quedara circunscrito por su entorno
social y legal. La fundacin tendra un incentivo para obedecer la ley, por ejemplo, para
que no se apaga o multado. Sera un incentivo para ofrecer a sus empleados la paga
aceptable y las condiciones de trabajo, y para satisfacer las partes interesadas externas.
Cualesquiera que sean sus objetivos finales, la fundacin de este modo tiene razones
instrumentales para conformar su comportamiento a diversas normas sociales.
Podra uno no esperar que un superinteligencia mquina asimismo se cercado por la
necesidad de llevarse bien con los otros actores con los que comparte el escenario?
Aunque esto podra parecer una manera sencilla de tratar con el problema de control, no
est libre de obstculos. En particular, se presupone un equilibrio de poder: las sanciones
legales o econmicas no pueden contener un agente que tiene una ventaja estratgica
decisiva. La integracin social no puede, por tanto, ser considerada como un mtodo de
control en los escenarios de despegue rpido o medianas que cuentan con un ganador se
lleva todo dinmico. Qu tal en escenarios multipolar, en el que varias agencias surgen
despus de la transicin con niveles comparables de capacidad? A menos que la
trayectoria por defecto es uno con un despegue lento, el logro de una distribucin de
potencia tal puede requerir un ascenso cuidadosamente orquestado en diferentes
proyectos son deliberadamente sincronizados para evitar que cualquiera de ellos desde
siempre tirando por delante del resto.9 Incluso si un resultado multipolar hace resultado,
la integracin social no es una solucin perfecta. Al confiar en la integracin social para
resolver el problema de control, los principales riesgos sacrificar una gran parte de su
influencia potencial. Aunque un equilibrio de poder que podra impedir que un AI
particular, de asumir el control el mundo, que la IA todava tendr algunos
el poder para afectar los resultados; y si ese poder se utiliza para promover algunos
arbitraria produccin es definitiva clip objetivo de maximizacin es probable que no se
utiliza para promover los intereses de la directora. Imagina nuestra multimillonario dotar
una nueva fundacin y permitiendo su misin de ser establecido por un generador de
palabra al azar: no una amenaza a nivel de especies, pero sin duda una oportunidad
perdida.
Una idea relacionada pero diferente importante es que una IA, al
interactuar libremente en la sociedad, adquirira nuevas metas finales humanos ambiente.
Algunos tal proceso de socializacin tiene lugar en nosotros los seres humanos. Nos
interiorizamos normas e ideologas, y llegamos a valorar otros individuos por su propio
bien como consecuencia de nuestras experiencias con ellos. Pero esto no es un presente
dinmico universal en todos los sistemas inteligentes. Como se seal anteriormente,
muchos tipos de agentes en muchas situaciones tendrn razones instrumentales
convergentes no
para permitir cambios en sus objetivos finales. (Se podra considerar tratando de disear
un tipo especial de sistema de objetivo que puede adquirir objetivos finales de la manera
que lo hacen los humanos, pero esto no contara como un mtodo de control de la
capacidad Vamos a discutir algunos de los posibles mtodos de adquisicin de valor en el
Captulo 12.). Capacidad de control a travs de la integracin social y el equilibrio de
poder se basa en fuerzas sociales difusas gratificantes y que penalizan la IA. Otro tipo de
mtodo de incentivo implicara la creacin de una configuracin en la que la AI puede ser
recompensado y penalizado por el proyecto que la crea, y por lo tanto incentivados para
actuar en inters de la directora. Para lograr esto, la AI sera colocado en un contexto de
vigilancia que permite su comportamiento a ser monitoreado y evaluado, ya sea
manualmente o por algn proceso automatizado. La IA sabra que una evaluacin positiva
traera algn resultado que desea y que una evaluacin negativa dejara de hacerlo. En
teora, la recompensa podra ser el cumplimiento de algn objetivo fundamental
convergente. Sin saber nada especfico sobre el sistema de la motivacin de la IA, sin
embargo, podra ser difcil de calibrar el mecanismo de recompensa. Por ejemplo,
podramos terminar con una IA que estar dispuesto a tomar riesgos extremos por el bien
de una pequea posibilidad de obtener finalmente el control de una gran parte del
universo. Podra ser costoso para ofrecer la IA una mayor utilidad esperada como
recompensa por la cooperacin de la IA poda esperar alcanzar por desertar y tratando de
escapar.10
Una mejor alternativa podra ser la de combinar el mtodo incentivo con el uso de
la seleccin motivacin para dar el AI un objetivo final que hace que sea ms fcil de
controlar. Supongamos que una IA fueron diseados para tener como objetivo final que
un botn rojo en particular dentro de un bnker de mando nunca ser presionado. Dado
que la presin del botn se disvaliosa intrnseca y no a causa de sus consecuencias
causales, el botn puede ser completamente inerte: podra ser de Play-Doh. Adems, es
irrelevante si la IA nunca puede saber si el botn ha sido presionado. Lo esencial es que la
AI considera que el botn es ms probable permanecer sin prensar si el AI acta
continuamente en el inters del director que si se rebela. Son posibles matices a esta
configuracin. En lugar de tratar de dotar a una IA con un objetivo final que se refiere a un
botn fsico, se podra construir una IA que pone valor final al recibir una corriente de
"tokens criptogrficos de recompensa."
11
Estos seran secuencias de nmeros que sirven como claves para sistemas de
cifrado que se han generado antes de la IA se ha creado y que habra sido construida en su
motivacin system.12 Estas secuencias de nmeros especiales sera muy deseable la IA,
que constituye un tipo especial de token de recompensa que la IA no poda alcanzar,
aunque wireheading.13 Las claves se almacenan en un lugar seguro donde pudieran ser
destruidos rpidamente si la IA jams se ha hecho un intento de apoderarse de ellos. En
tanto que coopera la AI, las teclas se reparten a un ritmo constante. La IA podra entonces
dar una funcin de utilidad limitada, y las cuestiones se podra arreglar para que el AI
obtendra (por ejemplo) el 99% de su utilidad mxima desde el primer token recompensa;
99% de su utilidad potencial restante de la segunda contador recompensa; etctera. Al
mantener la "tasa de descuento" de altura, y mediante la transmisin de seales de
recompensa a la IA a un ritmo razonablemente alto, se podra disuadir a la IA de intentar
llevar a cabo planes a largo plazo que aumentaran el nmero esperado de fichas de
recompensa en el futuro distal a expensas de un cierto riesgo de que su flujo de
recompensa ser interrumpido o que el siguiente token recompensa ser cancelada y
destruida. Si el AI siempre cree que desertar (es decir, haciendo que no sea todo lo posible
para cuidar de los intereses del representado nada) incurrira en al menos un 2% de riesgo
de perder el siguiente token recompensa, mientras que cooperar reducira el riesgo de
perder el siguiente token recompensa por debajo del 1%, entonces un AI que maximiza la
utilidad siempre cooperar. Qu podra salir mal con un esquema de incentivos? Una
posibilidad es que la IA no confiar en el operador humano para entregar las recompensas
prometidas. El historial de fiabilidad humana es algo ms que una lnea recta de la
perfeccin infalible. La IA sera razonable preocuparse de que el operador va a cambiar su
mente, o aumentar el nivel de desempeo, o dejar de reconocer que la IA ha hecho su
parte. La AI tambin se preocupara por el operador quedar incapacitado. El riesgo
combinado de estos fallos puede superar el riesgo de tratar de tomar el control del
mecanismo de recompensa. Incluso un AI en caja que posee la panoplia de las
superpotencias es una fuerza fuerte. (Para una IA que es
no
en caja, para empezar, el secuestro del mecanismo de recompensa human o
gobernado puede ser como quitarle un caramelo a un beb.)
Otro problema con el sistema de incentivos es que presupone que podemos decir
si los resultados producidos por la IA son de nuestro inters. Como captulos posteriores
elaborarn, este presupuesto no es inocuo. Una evaluacin completa de la viabilidad de
los mtodos de incentivos tambin tendra que tener en cuenta una serie de otros
factores, incluyendo algunas consideraciones esotricas que podran concebiblemente
hacer tales mtodos ms viable que un anlisis preliminar sugiere. En particular, la IA
la Primera Ley; (3) Un robot debe proteger su propia existencia, hasta donde esta
proteccin no entre en conflicto con la Primera o la Segunda Ley. Vergonzosamente para
nuestra especie, las leyes de Asimov se mantuvo el estado de la tcnica desde hace ms
de medio siglo: esto a pesar de problemas obvios con el enfoque, algunos de los cuales se
explora en los propios escritos de Asimov (Asimov, probablemente, haber formulado las
leyes en el primer lugar, precisamente, para que pudieran fallar de manera interesante,
proporcionando complicaciones argumentales frtiles para sus historias) 0.23 Bertrand
Russell, quien pas muchos aos trabajando en los fundamentos de las matemticas, una
vez coment que "todo es vago en un grado no te das cuenta hasta que haya tratado de
hacerlo lo precisa."
24
La mxima de Russell se aplica con creces al enfoque especificacin directa.
Consideremos, por ejemplo, cmo se podra explicar la primera ley de Asimov. Significa
que el robot debe reducir al mnimo la probabilidad de cualquier ser humano que viene a
perjudicar? En ese caso, las otras leyes se hacen superflua ya que siempre es posible que
el AI para tomar alguna accin que pudiera tener al menos algn efecto microscpica en la
probabilidad de un ser humano que viene a perjudicar. Cmo es el robot de equilibrar un
gran riesgo de que unos seres humanos que vienen a perjudicar frente a un pequeo
riesgo de muchos seres humanos se hizo dao? Cmo definimos "dao" de todos
modos? Cmo debe el dao del dolor fsico sopesarse frente a los daos de la fealdad
arquitectnica o la injusticia social? Est daado un sdico si se impide que atormentar a
su vctima? Cmo definimos "ser humano"? Por qu no considerar la posibilidad de
otros seres moralmente considerables, como los animales no humanos sintientes y
mentes digitales? Cuanto ms se reflexiona, ms las preguntas proliferan.
Quizs el ms cercano analgico existente a un conjunto de reglas que podran
regir las acciones de una superinteligencia que opera en el mundo en general es un
sistema legal. Pero los sistemas jurdicos han desarrollado a travs de un largo proceso de
ensayo y error, y se regulan de forma relativamente lenta que cambia las sociedades
humanas. Las leyes pueden ser revisados cuando sea necesario. Lo ms importante, los
sistemas legales son administrados por los jueces y jurados que por lo general se aplican
una medida de sentido comn y la decencia humana ignorar lgicamente posibles
interpretaciones legales que sean suficientemente obviamente no deseada y no deseada
por los legisladores. Probablemente es humanamente imposible formular explcitamente
un conjunto muy complejo de normas detalladas, haga que se aplican a travs de un
conjunto muy diverso de las circunstancias, y hacer las cosas bien en la primera aplicacin.
25
Problemas para el enfoque consecuencialista directa son similares a los del
enfoque basado en el gobierno directo. Esto es cierto incluso si la AI pretende servir un
propsito aparentemente simple como la implementacin de una versin del utilitarismo
clsico. Por ejemplo, el objetivo "Maximizar la expectativa de la balanza de placer sobre el
dolor en el mundo" puede parecer simple. Sin embargo, expresndolo en cdigo
informtico implicara, entre otras cosas, que especifica cmo reconocer el placer y el
dolor. Hacer esto de forma fiable podra requerir la resolucin de una serie de problemas
persistentes en la filosofa de la mente-aunque slo sea para obtener una cuenta correcta
expresada en un lenguaje natural, una cuenta que luego, de alguna manera, han de
traducirse en un lenguaje de programacin. Un pequeo error en la cuenta, ya sea
debe ser y hacer, la diferencia no es tan profunda como podra parecer a primera vista.
Con un genio, ya se sacrifica la propiedad ms atractiva de un orculo: la oportunidad de
utilizar los mtodos de boxeo. Si bien se podra considerar la creacin de un genio
confinado fsicamente, por ejemplo, uno que slo puede construir objetos dentro de un
volumen designado un volumen que podran ser cerrada por una pared endurecido o una
barrera cargado con cargas explosivas amaado para detonar si la contencin es
breached- sera difcil tener mucha confianza en la seguridad de cualquiera de estos
mtodos de contencin fsica contra una superinteligencia equipado con manipuladores
verstiles y materiales de construccin. Incluso si se tratara de algn modo posible para
asegurar una contencin tan segura como la que se puede conseguir, por un orculo, no
est claro cunto habramos ganado dando el acceso directo superinteligencia a los
manipuladores en comparacin con lo requieran lugar a la salida de un modelo que
podramos inspeccionar y luego usar para lograr el mismo resultado a nosotros mismos. La
ganancia en la velocidad y la conveniencia de pasar por el intermediario humano parece
no vale la pena la prdida de lo anterior, la utilizacin de los mtodos de boxeo ms
fuertes disponibles para contener un orculo.
Si una
fueron la creacin de un genio, sera deseable para construirlo para que obedecera la
intencin detrs de la orden ms que su significado literal, ya que un genio literalista (uno
lo suficientemente superinteligente para lograr una ventaja estratgica decisiva) podra
tener una propensin a matar al usuario y el resto de la humanidad en su primer uso, por
razones que se explican en la seccin sobre los modos de fallo malignas en el captulo 8.
En trminos ms generales, sera importante que el genio buscar una caridad, y lo que los
seres humanos podran considerar como razonable-interpretacin de lo se est mandado,
y que el genio de estar motivado para llevar a cabo el comando bajo una interpretacin
ms que bajo la interpretacin literalista. El genio ideal sera un super-mayordomo en
lugar de un sabio autista. Un genio dotado de una naturaleza tan super-mayordomo, sin
embargo, no estara lejos de la clasificacin para la pertenencia a la casta de los
soberanos. Consideremos, por comparacin, la idea de construir un soberano con el
objetivo final de obedecer el espritu de los comandos que hubiramos dado si
hubiramos construido un genio en lugar de un soberano. Tal soberana imitara un genio.
Al ser superinteligente, este soberano hara un buen trabajo en adivinar lo que manda
habramos dado un genio (y siempre nos podra preguntar si eso sera ayudar a informar a
sus decisiones). Habra entonces realmente alguna diferencia importante entre un
soberano y como un genio? O, al pulsar sobre la distincin desde el otro lado, consideran
que un genio superinteligente podr igualmente ser capaz de predecir lo que manda
vamos a darle: lo que entonces se gana de tener que esperar la emisin real antes de
actuar?
Uno podra pensar que una gran ventaja de un genio en un soberano es que si algo
sale mal, podramos emitir el genio con un nuevo comando para detener o revertir los
efectos de las acciones anteriores, mientras que un soberano sera simplemente seguir
adelante sin tener en cuenta nuestras protestas. Pero esta ventaja de seguridad aparente
de que el genio es en gran parte ilusoria. El botn "stop" o "deshacer" en un genio slo
funciona para los modos de fallo benignos: en el caso de un fallo maligna -uno en el que,
por ejemplo, llevar a cabo el comando existente se ha convertido en un objetivo final para
el genio-el genio sera simplemente ignorar cualquier intento posterior de revocar la
orden anterior.
7
Una opcin sera la de tratar de construir un genio tal que presentara automticamente al
usuario con una prediccin acerca de los aspectos ms destacados de los posibles
resultados de un comando propuesto, pedir confirmacin antes de proceder. Este sistema
podra ser referido como una
genie-con-una-preview. Pero si esto se podra hacer
para un genio, podra igualmente ser hecho por un soberano. As que de nuevo, esto no es
un diferenciador claro entre un genio y un soberano. (Suponiendo que una funcionalidad
de vista previa se podra crear, las cuestiones de si y si es as cmo usarlo son bas tante
menos evidente de lo que parece, no obstante el fuerte atractivo de poder echar un vistazo
a los resultados antes de comprometerse con lo que es la realidad irrevocable. Volveremos
a este tema ms adelante.)
La capacidad de una casta para imitar otro se extiende a orculos, tambin. Un genio se
podra hacer para que acte como un orculo si los nicos comandos que nos damos son
para responder a ciertas preguntas. Un orculo, a su vez, se podra hacer para sustituir a
un genio si le preguntamos al orculo de cul es la forma ms fcil es conseguir
determinados comandos ejecutados. El orculo nos podra dar paso a paso las
instrucciones para lograr el mismo resultado que un genio producira, o incluso podra
emitir el cdigo fuente de un genio. 8
Puntos similares se pueden hacer con respecto a la relacin entre un orculo y un
La verdadera diferencia entre las tres castas, por lo tanto, no reside en las capacidades finales que iban a
soberano.
desbloquear. En cambio, la diferencia se reduce a enfoques alternativos para el problema de control. Cada casta corresponde a un
conjunto diferente de las precauciones de seguridad. La caracterstica ms prominente de un orculo es que puede ser en caja.
Tambin se podra tratar de aplicar la seleccin motivacin domesticidad a un orculo. Un genio es ms duro a la caja, pero al menos lo
domstico puede ser aplicable. Un soberano no puede ser ni caja ni maneja a travs del enfoque de la domesticidad.
Si estos fueron los nicos factores pertinentes, el orden de preferencia que parece claro:
un orculo sera ms seguro que un genio, lo que sera ms seguro que un soberano; y las
diferencias iniciales en la conveniencia y la velocidad de operacin seran relativamente
pequea y fcilmente dominado por los logros en materia de seguridad que se pueden
obtener mediante la construccin de un orculo. Sin embargo, hay otros factores que
deben tenerse en cuenta. Al elegir entre las castas, se debe considerar no slo el peligro
que representa el sistema en s, sino tambin los peligros que surgen de la forma en que
podra ser utilizado. Un genio de la mayora, obviamente, le da a la persona que lo
controla un enorme poder, pero lo mismo vale para un orculo. 9 Un soberano, por el
contrario, podra ser construido de tal forma que se conceder ninguna persona o grupo
de cualquier influencia especial sobre el resultado, y de tal manera que se resistira a
cualquier intento de corromper o alterar su agenda original. Es ms, si la motivacin de un
soberano se define utilizando "normatividad indirecta" (un concepto que se describe en el
Captulo 13), entonces podra ser utilizado para lograr algn resultado en abstracto
definido, como "todo lo que es mximamente justo y moralmente correcto" -sin que nadie
sepa de antemano qu es exactamente lo que esto implica. Esto creara una situacin
anloga a la de Rawls "velo de la ignorancia." 10 una configuracin de este tipo podra
necesarios para esta funcin. Los investigadores estimaron que el circuito evolucionado
fue entre uno y dos rdenes de magnitud ms pequea que lo que un ingeniero humano
habra requerido para la tarea. El circuito explota las propiedades fsicas de sus
componentes en formas poco ortodoxas; algunos, componentes necesarios activas ni
siquiera fueron conectados a los pines de entrada o de salida! Estos componentes en lugar
participaron a travs de lo que normalmente se considera efectos secundarios molestos,
tales como acoplamiento electromagntico o la carga de alimentacin.
Otro proceso de bsqueda, encargado de la creacin de un oscilador, fue privado de un
componente aparentemente an ms indispensable, el condensador. Cuando el algoritmo
present su solucin exitosa, los investigadores examinaron y concluyeron en un primer
momento que "no debera funcionar." Tras un examen ms cuidadoso, descubrieron que
el algoritmo tena, MacGyver-como, reconfigur su placa base sin sensor en una radio de
expediente receptor, utilizando la placa de circuito impreso pistas como una antena para
captar seales generadas por los ordenadores personales que sucedieron estar situado
cerca en el laboratorio. El circuito amplifica esta seal para producir la salida oscilante
deseado.
16 En otros experimentos, los algoritmos evolutivos diseado circuitos que
permiten detectar si la placa base se est supervisando con un osciloscopio o si un
soldador estaba conectado a la fuente de alimentacin comn del laboratorio. Estos
ejemplos ilustran cmo un proceso de bsqueda de composicin abierta puede reutilizar
los materiales accesibles a ella con el fin de elaborar las capacidades sensoriales
totalmente inesperados, por medios que de futuro diseo humano convencional no est
bien equipado para explotar o incluso Cuenta en retrospectiva.
La tendencia de bsqueda evolutiva "engaar" o encontrar formas contrarias a la
intuicin de la consecucin de un fin determinado se encuentra en exhibicin en la
naturaleza tambin, aunque es quizs menos obvio para nosotros all debido a nuestra ya
estar un poco familiarizado con el aspecto de la biologa, y siendo por lo tanto propensos a
la relacin con los resultados reales de los procesos evolutivos naturales como normal,
incluso si no hubiramos les espera
ex ante. Pero es posible establecer experimentos de seleccin artificial donde se puede
ver el proceso evolutivo en la accin fuera de su contexto familiar. En estos experimentos,
los investigadores pueden crear condiciones que rara vez obtienen en la naturaleza, y
observar los resultados. Por ejemplo, antes de la dcada de 1960, era al parecer bastante
comn que los bilogos sostienen que las poblaciones de depredadores restringen su
propia cra con el fin de evitar caer en una trampa maltusiana.17 Aunque la seleccin
individual trabajara en contra de tal restriccin, que a veces se piensa que la seleccin de
grupo superara los incentivos individuales para explotar oportunidades de reproduccin y
del favor de los rasgos que se beneficiaran del grupo o poblacin en general. Estudios de
anlisis y simulacin tericos ms tarde mostraron que mientras que la seleccin de grupo
es posible, en principio, se puede superar la fuerte seleccin individual slo bajo
condiciones muy estrictas que pueden raramente aplican en nature.18 Pero tales
condiciones pueden ser creados en el laboratorio. Cuando escarabajos de la harina
(Tribolium castaneum) Fueron criados para reducir el tamao de la poblacin, mediante la
Comparacin
Puede ser til resumir las caractersticas de las diferentes castas del sistema que hemos
discutido (Cuadro 11). Tabla 11
Caractersticas de las diferentes castas del sistema
Orculo
Un sistema de pregunta-respuesta
Mtodos de boxeo plenamente aplicable
Variaciones : Orculos dominio limitado (por ejemplo, las matemticas); orculos de
salida restringida (por ejemplo, slo s / no / respuestas indecisos, o probabilidades);
orculos que se niegan a responder a las preguntas si ellos predicen las consecuencias
de contestar se reunira "criterios de desastre" pre-especificados; mltiples orculos de
revisin por pares
La domesticidad plenamente aplicable Menor necesidad de AI para comprender
las intenciones e intereses humanos (en comparacin con los genios y soberanos)
El uso de preguntas s / no se puede obviar la necesidad de una medida de la
"utilidad" o "informatividad" de respuestas
Fuente de gran poder (podra dar operador una ventaja estratgica decisiva)
La
proteccin limitada contra el uso insensato por el operador
orculos no confiables podran ser utilizados para proporcionar respuestas que
son difciles de encontrar pero fcil de verificar
verificacin dbil de las respuestas puede ser posible mediante el uso de mltiples
orculos
Genio
Un sistema de comandos de aplicacin directa
Mtodos de boxeo parcialmente aplicables (por genios espacialmente limi tado)
Variaciones: Genies utilizando diferentes distancias "extrapolacin" o grados de
seguir el espritu ms que letra del comando; genios dominio limitado; genios-con-vista
previa; genios que se niegan a obedecer las rdenes si predicen las consecuencias de
obedecer se reunira "criterios de desastre" pre-especificados La domesticidad
parcialmente aplicable
Genie podra ofrecer una vista previa de los aspectos ms destacados de los
resultados esperados Genie podra implementar cambios en etapas, con la posibilidad
de una revisin en cada etapa Fuente de gran poder (podra dar operador una ventaja
estratgica decisiva)
La proteccin limitada contra el uso insensato por el operador Mayor necesidad de
AI para comprender los intereses humanos y las intenciones (en comparacin con los
orculos)
Soberano
Un sistema diseado para un funcionamiento autnomo indefinido
Mtodos de
boxeo inaplicable
La mayora de los otros mtodos de control de capacidad tambin inaplicable (excepto,
posiblemente, la integracin social o la captura antrpico)
Variaciones: Muchos sistemas de motivacin posibles; posibilidad de utilizar la
vista previa y "ratificacin patrocinador" (que se discutir en el captulo 13)
donde los clientes tienen una preferencia bsica por el trabajo realizado por los seres
humanos. Hoy en da, los productos que han sido hechos a mano o producidos por los
indgenas a veces a un precio ms. Consumidores futuros igualmente podran preferir
bienes humanos a medida y las atletas humanos, artistas humanos, amantes humanos y
lderes humanos a contrapartes artificiales funcionalmente indistinguibles o superiores.
No est claro, sin embargo, cun generalizada seran tales preferencias. Si alternativas
hechos a mquina eran suficientemente superior, tal vez seran ms altamente
apreciados.
Un parmetro que pueda ser relevante para la eleccin del consumidor es la vida
interior del trabajador prestacin de un servicio o producto. Una audiencia del
concierto, por ejemplo, podra gustara saber que el artista se conscientemente
experimentando la msica y el lugar de celebracin. Experiencia fenomenal Ausente, el
msico podra ser considerado como una mera mquina de discos de alta potencia,
aunque sea capaz de crear la apariencia tridimensional de un artista interactuar de
forma natural con la multitud. Mquinas podran entonces ser diseados para crear
instancias de los mismos tipos de estados mentales que estaran presentes en un ser
humano que realiza la misma tarea. Incluso con la replicacin perfecta de experiencias
subjetivas, sin embargo, algunas personas pueden simplemente prefieren el trabajo
orgnico. Tales preferencias tambin podran tener races ideolgicas o religiosas. Al
igual que muchos musulmanes y Judios rehuyen comida preparada en formas que
clasifican como haram o
treif , Por lo que puede haber grupos en el futuro que evitan los productos cuya
fabricacin implicado el uso no autorizado de la inteligencia artificial. Lo que depende
de esto? En la medida en que el trabajo de la mquina barata puede sustituir el trabajo
humano, los trabajos humanos pueden desaparecer. Los temores sobre la
automatizacin y la prdida del empleo, por supuesto, no es nuevo. La preocupacin por
el desempleo tecnolgico han surgido peridicamente, por lo menos desde la
Revolucin Industrial; y un buen nmero de profesiones han hecho seguido el camino de
los tejedores ingleses y artesanos textiles que a principios del siglo XIX se unieron bajo la
bandera de la folclrica "General Ludd" para luchar contra la introduccin de telares
mecanizados. Sin embargo, a pesar de la maquinaria y la tecnologa han sido sustitutos
para muchos tipos de trabajo humano, la tecnologa fsica ha sido en general un
complemento al trabajo. Salarios humanos Promedio de todo el mundo han estado en
una tendencia alcista a largo plazo, en gran parte debido a estas complementariedades.
Sin embargo, lo que comienza como un complemento al trabajo puede posteriormente
convertirse en un sustituto de la mano de obra. Los caballos fueron complementados
inicialmente por carros y arados, que aument considerablemente la productividad del
caballo. Ms tarde, los caballos fueron sustituidos por los automviles y tractores. Estas
innovaciones posteriores redujeron la demanda de trabajo equina y condujeron a un
colapso de la poblacin. Podra un destino similar sobrevenir la especie humana?
El paralelo a la historia del caballo se puede dibujar hacia fuera an ms si nos
preguntamos por qu es que todava hay caballos alrededor. Una de las razones es que
todava hay unos nichos en los que los caballos tienen ventajas funcionales; por
ejemplo, el trabajo policial. Pero la razn principal es que los humanos sucede que tiene
preferencias particulares de los servicios que los caballos pueden ofrecer, incluyendo
paseos a caballo de recreo y competicin. Estas preferencias se pueden comparar con
las preferencias de la hiptesis de algunos humanos podran tener en el futuro, de que
determinados bienes y servicios se harn por la mano humana. Aunque sugerente, esta
analoga es, sin embargo, inexacta, ya que todava no hay sustituto funcional completa
para caballos. Si hubiera dispositivos mecnicos de bajo costo que corri en el heno y
tenan exactamente la misma forma, sentir, oler, y el comportamiento como los
caballos, tal vez biolgicos incluso las mismas experiencias conscientes, entonces la
demanda de caballos biolgicos, probablemente reducir an ms.
Con una reduccin suficiente de la demanda de mano de obra huma na, los salarios
caeran por debajo del nivel de subsistencia humana. La desventaja potencial de los
trabajadores humanos tanto, es extrema: no slo la reduccin salarial, descensos de
categora, o la necesidad de reconversin, pero el hambre y la muerte. Cuando los
caballos se volvieron obsoletas como fuente de energa mvil, muchos fueron vendidos a
los empacadores de carne para ser transformados en alimentos para perros, harina de
hueso, cuero y pegamento. Estos animales no tenan un empleo alternativo a travs del
cual para ganar su sustento. En los Estados Unidos, haba alrededor de 26 millones de
caballos en 1915. A principios de la dcada de 1950, 2 millones quedaron.2
El capital y el bienestar
Una de las diferencias entre los humanos y los caballos es
que los seres humanos poseen el capital. Un hecho emprico estilizado es que el
porcentaje total de los factores de capital tiene desde hace mucho tiempo se mantuvo
estable en aproximadamente el 30% (aunque con importantes fluctuaciones a corto
plazo).
3
Esto significa que el 30% de la renta mundial total se recibi en concepto de
alquiler por los dueos del capital, el 70% restante se recibe como salario de los
trabajadores. Si clasificamos AI como capital, a continuacin, con la invencin de la
inteligencia artificial que puede sustituir completamente por el trabajo humano, los
salarios caeran al costo marginal de tales mquinas sustitutos, que -bajo el supuesto de
que las mquinas son muy eficientes, sera muy baja, muy por debajo de los ingresos a
nivel de la subsistencia humana. La cuota de los ingresos recibidos por la mano de obra
sera entonces disminuyendo hasta prcticamente nula. Pero esto implica que la
participacin del factor del capital se convertira en casi el 100% del producto total
mundial. Desde el PIB mundial se elevara a raz de una explosin de inteligencia (a
causa de enormes cantidades de nuevas mquinas de mano de obra de sustitucin, sino
tambin debido a los avances tecnolgicos logrados por superinteligencia, y, ms tarde,
la adquisicin de grandes cantidades de nuevas tierras a travs de la colonizacin del
espacio), se deduce que la el ingreso total del capital aumentara enormemente. Si los
seres humanos siguen siendo los dueos de esta capital, el ingreso total recibido por la
poblacin humana crecera astronmicamente, a pesar de que en este escenario los
seres humanos ya no recibir ningn ingreso salarial.
Por lo tanto la especie humana en su conjunto podran llegar a ser rico ms all de los
sueos de la avaricia. Cmo se distribuye este ingreso? En una primera aproximacin, las
rentas del capital sera proporcional a la cantidad de capital de propiedad. Teniendo en
cuenta el efecto de amplificacin astronmica, aunque sea un poco de la riqueza anterior
a la transicin sera globo en una inmensa fortuna despus de la transicin. Sin embargo,
en el mundo contemporneo, muchas personas no tienen la riqueza. Esto incluye no slo
a las personas que viven en la pobreza, sino tambin a algunas personas que ganar un
buen ingreso o que tienen alto capital humano, pero tienen valor neto negativo. Por
ejemplo, en el opulento Dinamarca y Suecia el 30% de la poblacin de personas reportan
riqueza a menudo jvenes, de clase media negativas con pocos activos tangibles y de la
deuda de tarjetas de crdito o prstamos estudiantiles. 4 Incluso si los ahorros podran
ganar altsimo inters, no tendra que ser un poco de grano de semilla, algo de capital
inicial, a fin de que la composicin de begin.5 Sin embargo, incluso las personas que no
tienen la riqueza privada en el inicio de la transicin podran llegar a ser extremadamente
rico. Los que participan en un plan de pensiones, por ejemplo, ya sea pblica o privada,
debe estar en una buena posicin, siempre que el esquema es financiado al menos en
parte.6 Los que no tienen tambin podran hacerse rico a travs de la filantropa de los
que ven su valor se dispara neto: debido al tamao astronmico de la bonanza, incluso
una muy pequea fraccin donada como limosna sera una suma muy grande en trminos
absolutos. Tambin es posible que las riquezas todava se podran hacer a travs del
trabajo, incluso en una etapa posterior a la transicin cuando las mquinas son
funcionalmente superior a los seres humanos en todos los dominios (as como ms barato
que incluso a nivel de subsistencia, el trabajo humano). Como se seal anteriormente,
esto podra suceder si hay nichos en los que se prefiere el trabajo humano por razones no
pragmticas estticas, ideolgicas, ticas, religiosas o de otro tipo. En un escenario en el
que la riqueza de los titulares de capital humano aumenta dramticamente, la demanda
de este tipo de trabajo podra aumentar correspondientemente. Trillonarios o
quadrillionaires recin acuadas podan permitirse el lujo de pagar u na prima
considerable por tener algunos de sus bienes y servicios suministrados por una mano de
obra "comercio justo" orgnico. La historia de los caballos de nuevo ofrece un paralelo.
Despus de caer a 2 millones en la dcada de 1950, la poblacin de caba llos de Estados
Unidos ha experimentado una recuperacin robusta: un censo reciente pone el nmero
en poco menos de 10 millones de cabeza.
7
El aumento no se debe a las nuevas necesidades funcionales de caballos en la
agricultura o el transporte; ms bien, el crecimiento econmico ha permitido a ms
estadounidenses a disfrutar de un lujo para la recreacin ecuestre.
Otra diferencia relevante entre humanos y caballos, al lado de capital-propiedad, es que
los seres humanos son capaces de movilizacin poltica. Un gobierno humano a ejecutar
poda usar el poder fiscal del Estado para redistribuir las ganancias privadas, o aumentar
los ingresos mediante la venta de activos estatales apreciadas, como la tierra pblica, y
utilizar las ganancias para las pensiones de sus constituyentes. Una vez ms, debido al
explosivo crecimiento econmico durante e inmediatamente despus de la transicin, no
habra mucho ms riqueza dando vueltas, por lo que es relativamente fcil de llenar las
copas de todos los ciudadanos desempleados. Debera ser posible incluso para un solo
pas para proporcionar todos los seres humanos en todo el mundo con un salario digno
generosa sin mayor costo proporcional de lo que muchos pases gastan actualmente de la
ayuda extranjera.
8
El principio malthusiano en una perspectiva histrica
Hasta ahora hemos asumido
una poblacin humana constante. Esto puede ser una suposicin razonable para escalas
de tiempo cortas, ya que limita la velocidad de la biologa de la reproduccin humana. En
escalas de tiempo ms largos, sin embargo, la suposicin no es necesariamente razonable.
La poblacin humana ha aumentado mil veces en los ltimos 9.000 aos.9
El aumento habra sido mucho ms rpido excepto por el hecho de que en la mayor parte
de la historia y la prehistoria, la poblacin humana era toparse con los lmites de la
economa mundial. Una condicin aproximadamente maltusiana prevaleci, en la que la
mayora de personas recibieron ingresos de subsistencia que apenas les permitan
sobrevivir y criar una media de dos hijos a maturity.10 Hubo indultos temporales y locales:
plagas, las fluctuaciones del clima, o la guerra sacrificados de forma intermitente la la
poblacin y la liber de la tierra, lo que permite a los sobrevivientes a mejorar su ingesta
nutricional y para que aparezca ms hijos, hasta que se reponen las filas y la condicin de
Malthus restableci. Adems, gracias a la desigualdad social, un estrato de elite delgada
pudieron disfrutar consistentemente por encima de la subsistencia de ingresos (a
expensas de algo bajar el tamao total de la poblacin que podra ser sostenido). Un
pensamiento triste y disonante: que en esta condicin maltusiana, el estado normal de las
cosas durante la mayor parte de nuestra permanencia en este planeta, era sequ as,
pestes, las masacres, y la desigualdad en la estimacin comn los peores enemigos del
bienestar humano, que puede tener sido los ms grandes humanistas: slo ellos
permitiendo que el nivel medio de bienestar a bop ocasionalmente hasta ligeramente por
encima de la de la vida en el mismo margen de subsistencia.
Superpuesta
a
fluctuaciones locales, la historia muestra una macro-patrn de crecimiento econmico
inicialmente lenta pero acelerando, impulsado por la acumulacin de innovaciones
tecnolgicas. La creciente economa mundial trajo consigo un aumento proporcional de la
poblacin mundial. (Ms precisamente, una misma poblacin mayor parece tener muy
acelerado el ritmo de crecimiento, tal vez principalmente por el aumento de la inteligencia
colectiva de la humanidad.
11
) Slo a partir de la Revolucin Industrial, sin embargo, hicieron el crecimiento
econmico se convierten tan rpido que el crecimiento demogrfico no pudo mantener
el ritmo. Por tanto, los ingresos promedio comenz a subir, primero en los pases de
industrializacin temprana de Europa Occidental, posteriormente, en la mayor parte del
mundo. Incluso en los pases ms pobres de hoy, el ingreso promedio supera
sustancialmente el nivel de subsistencia, como se refleja en el hecho de que las
poblaciones de estos pases estn creciendo. Los pases ms pobres tienen ahora el ms
rpido crecimiento de la poblacin, ya que an tienen que completar la "transicin
demogrfica" al rgimen de baja fertilidad que se ha apoderado en las sociedades ms
desarrolladas. Los demgrafos proyectan que la poblacin mundial se elevar a cerca de 9
mil millones para mediados de siglo, y que a partir de entonces podra meseta o descenso
ya que los pases ms pobres se unen al mundo desarrollado en este rgimen de baja
fertilidad.12
Muchos pases ricos ya tienen tasas de fertilidad que estn por debajo del nivel de
reemplazo; en algunos casos, mucho continuacin.13
Sin embargo, hay razones, si
se tiene una visin ms amplia y asumimos un estado de la tecnologa cambia y continua
prosperidad, a esperar un retorno a la condicin histrica y ecolgica normal de una
poblacin mundial que topa contra los lmites de lo que puede soportar nuestro nicho. Si
esto parece contradictorio a la luz de la relacin negativa entre la riqueza y la fertilidad
que actualmente estamos observando en la escala global, debemos recordar que esta era
moderna es un breve trozo de la historia y en gran medida una aberracin. El
comportamiento humano an no se ha adaptado a las condiciones contemporneas. No
slo somos capaces de tomar ventaja de maneras obvias para aumentar nuestra aptitud
inclusiva (como al convertirse en donantes de esperma o huevo) pero sabotear
activamente nuestra fertilidad usando anticonceptivos. En el entorno de la adapta bilidad
evolutiva, un impulso sexual saludable puede haber sido suficiente para que un acto
individual de manera que maximizaron su potencial reproductivo; en el ambiente
moderno, sin embargo, habra una enorme ventaja selectiva a tener un deseo ms direct a
por ser el padre biolgico al mayor nmero posible de nios. Tal deseo se est
seleccionando actualmente para, al igual que otros rasgos que aumentan nuestra
propensin a reproducirse. La adaptacin cultural, sin embargo, podra adelantarse a la
evolucin biolgica. Algunas comunidades, como las de los hutteritas o los partidarios del
movimiento evanglico Quiverfull, tienen culturas natalidad que fomentan las familias
numerosas, y estn en consecuencia experimentando una rpida expansin.
El crecimiento demogrfico y la inversin
Si imaginamos las condiciones socioeconmicas actuales mgicamente congelados en su
forma actual, el futuro estara dominado por los grupos culturales o tnicos que
mantienen altos niveles de fertilidad. Si la mayora de la gente tena preferencias que eran
de fitness-maximizacin en el entorno actual, la poblacin podra duplicarse fcilmente en
cada generacin. Polticas de control de la poblacin -que ausentes tendran que
convertirse vez ms rigurosa y eficaz para contrarrestar la evolucin de las preferencias
fuertes para eludir ellos la poblacin mundial seran entonces seguir creciendo
exponencialmente hasta que algn obstculo, como la escasez de tierras o el agotamiento
de oportunidades fciles para importante innovacin, hecho imposible que la economa
para mantener el ritmo: en ese momento, el ingreso promedio empezara a declinar hasta
llegar al nivel en el que la pobreza aplastante mayora de la gente evita de levantar mucho
ms que dos hijos a la madurez. As, el principio de Malthus sera reafirmarse, como un
amo de esclavos pavor, con lo que nuestra aventura en la tierra de los sueos de la
abundancia a su fin, y que nos lleva de nuevo a la cantera en las cadenas, hay que
reanudar la lucha cansado para la subsistencia. Esta perspectiva a ms largo plazo
podra ser telescpica en una perspectiva ms inminente por la explosin de inteligencia.
Dado que el software es copiable, una poblacin de emulaciones o inhibidores de la
aromatasa podra duplicarse en rpido en el transcurso de minutos en lugar de dcadas o
siglos antes de agotar todo el hardware disponible.
Propiedad privada puede ofrecer una proteccin parcial contra la aparicin de
una condicin maltusiana universal. Considere la posibilidad de un modelo sencillo en el
que los clanes (o comunidades cerradas, o estados) comienzan con cantidades variables
de la propiedad y de forma independiente adoptan diferentes polticas sobre la
reproduccin y la inversin. Algunos clanes descuentan el futuro abruptamente y pasan
por su dotacin, de lo cual sus miembros empobrecidos se unen al proletariado mundial
(o mueren, si no pueden mantenerse a s mismos a travs de su trabajo). Otros clanes
invierten parte de sus recursos, pero adoptan una poltica de reproduccin ilimitada:
esos clanes crecen ms poblada hasta que alcanzan una condicin maltusiana interno en
el que sus miembros son tan pobres que mueren casi al mismo ritmo que se reproducen,
momento en el que el crecimiento de la poblacin del clan ralentiza para igualar el
crecimiento de sus recursos. Sin embargo, otros clanes pueden restringir su fertilidad
por debajo de la tasa de crecimiento de su capital: esos clanes lentamente podran
incrementar su nmero, mientras que sus miembros tambin se hacen ms ricos per
cpita.
Si la riqueza se redistribuye de los clanes ricos a los miembros de los clanes rpidamente
reproducir o descontar rpidamente (cuyos nios, copias, o vstagos, por causas ajenas a
su cuenta, se pusieron en marcha en el mundo con el capital suficiente para sobrevivir y
prosperar) luego un condicin maltusiana universal, sera ms de cerca aproximada. En el
caso lmite, todos los miembros de todos los clanes se reciben ingresos de subsistencia y
todos seran iguales en su pobreza. Si la propiedad no se redistribuye, clanes prudentes
podran aferran a una cierta cantidad de capital, y es posible que su riqueza podra crecer
en trminos absolutos. Es, sin embargo, no est claro si los seres humanos podran ganar
como altas tasas de retorno sobre su capital como inteligencias mquinas podran ganar
en el suyo, porque puede haber sinergias entre el trabajo y el capital de manera que un
agente nico que puede suministrar tanto (por ejemplo, un empresario o inversionista
que es a la vez hbil y rico) puede alcanzar una tasa de rentabilidad privada en su capital
de superior a la tasa de mercado que se puede obtener por los agentes que poseen
recursos cognitivos financieros, pero no. Los seres humanos, al ser menos hbil que las
inteligencias de la mquina, por lo tanto puede crecer su capital ms lentamente, a menos
que, por supuesto, el problema de control haba sido completamente resuelto, en cuyo
caso la tasa humana de retorno sera igual a la tasa de rendimiento de la mquina, ya que
un director humano podra encargar un agente de la mquina para gestionar sus ahorros,
y podra hacerlo sin costo y sin conflictos de inters: pero por lo dems, en este escenario,
la fraccin de la economa de propiedad de las mquinas sera acercarse asintticamente
al cien por cien.
Un escenario en el que la fraccin de la economa que es propiedad de mquinas
se aproxima asintticamente al cien por cien no es necesariamente uno en el que el
tamao de la rebanada humano disminuye. Si la economa crece a un ritmo suficiente,
entonces ni siquiera una fraccin relativamente decreciente de que an puede estar
aumentando en su tamao absoluto. Esto puede sonar como moderadamente buena
noticia para la humanidad: en un escenario multipolar en el que los derechos de
propiedad estn protegidos, incluso si estamos completamente capaces de resolver el
problema del control de la cantidad total de la riqueza propiedad de los seres humanos
podra aumentar. Por supuesto, este efecto no se hara cargo del problema del
crecimiento demogrfico de la poblacin humana tirando abajo el ingreso per cpita a
nivel de subsistencia, ni el problema de los seres humanos que arruinan a s mismos, ya
que descuentan el futuro.
A largo plazo, la economa se convertira dominada cada vez ms por los clanes que tienen
las ms altas tasas de ahorro-avaros que son dueos de la mitad de la ciudad y viven bajo
un puente. Slo en la plenitud de los tiempos, cuando no hay ms oportunidades de
inversin, seran los avaros mximo prsperos, comienzan a retirar sus ahorros.14
Sin
embargo, si hay menos de una proteccin perfecta para los derechos de propiedad, por
ejemplo, si las mquinas ms eficientes en la red tienen xito, por las buenas o por las
malas, en la transferencia de riqueza de los seres humanos a s mismos, entonces los
capitalistas humanos pueden tener que pasar por su capital mucho antes , antes de que se
agote por tales transferencias (o los costos actuales incurridos en la obtencin de su
riqueza en contra de tales transferencias). Si estos acontecimientos tienen lugar en digital
en lugar de escalas de tiempo biolgicas, entonces los seres humanos glaciares podran
verse expropiados antes de que pudieran decir Jack Robinson.15
La vida en una economa algortmica
La vida para los seres humanos biolgicos en un post-transicin de estado de Malthus no
tiene por qu parecerse a cualquiera de los estados histricos del hombre (como
cazadores-recolectores, agricultor o trabajador de oficina). En cambio, la mayora de los
seres humanos en este escenario podra ser rentistas ociosos que se ganan la vida
marginal sobre sus ahorros. 16 Seran muy pobre, sin embargo, obtener el poco ingreso
que tienen de ahorros o de los subsidios estatales. Ellos viven en un mundo con una
tecnologa muy avanzada, que incluye no slo las mquinas superinteligentes sino
tambin la medicina anti-envejecimiento, la realidad virtual, y varias tecnologas de
mejora y las drogas de recreo: sin embargo estos podran ser generalmente inaccesible.
Tal vez en lugar de usar la medicina mejora, que tomaran las drogas para atrofiar su
crecimiento y disminuir su metabolismo con el fin de reducir su costo de (rpido quemadores son incapaces de sobrevivir en el ingreso disminucin gradual de
subsistencia) que viven. A medida que nuestros nmeros de aumento y nuestro ingreso
promedio disminuye an ms, podramos degenerar en cualquier estructura mnima an
califica para recibir una pensin de quizs cerebros mnimamente conscientes en cubas,
oxigenados y nutridos por las mquinas, ahorrando poco a poco el dinero suficiente para
reproducirse por tener un tcnico robot desarrollar un clon de them.17
Adems frugalidad podra lograrse por medio de la carga, ya que un sustrato de
computacin optimizado fsicamente, ideado por superinteligencia avanzada, sera ms
eficiente que un cerebro biolgico. La migracin en el mbito digital podra surgi, sin
embargo, si las emulaciones fueron considerados como no-humanos o no ciudadanos no
elegibles para recibir pensiones o para mantener las cuentas de ahorro libres de
impuestos. En ese caso, un nicho para los humanos biolgicos podra permanecer
abierta, junto a una poblacin tal vez mucho ms grande de emulaciones o inteligencias
artificiales.
Hasta ahora nos hemos centrado en el destino de los seres humanos, que pueden ser
apoyadas por el ahorro, subsidios, o los ingresos salariales derivadas de otros humanos
que prefieren contratar a los seres humanos. Volvamos ahora nuestra atencin a algunas
de las entidades que hasta ahora hemos clasificado como "capital": mquinas que pueden
ser propiedad de los seres humanos, que estn construidas y operadas por el bien de las
tareas funcionales que realizan, y que somos capaces de sustituir el trabajo humano en
una amplia gama de puestos de trabajo. Cul puede ser la situacin como para estos
caballos de batalla de la nueva economa? Si estas mquinas eran meros autmatas, los
dispositivos simples, como una mquina de vapor o el mecanismo de un reloj, entonces se
necesitara ms comentarios: habra una gran cantidad de ese capital en una economa
post-transicin, pero al parecer no importa a nadie cmo salen las cosas para piezas de
equipo insensible. Sin embargo, si las mquinas tienen mentes conscientes, si es que estn
construidos de tal manera que su operacin est asociada con la conciencia fenomenal (o
si por alguna otra razn se atribuyen estatus moral) -entonces se vuelve importante tener
en cuenta el resultado global en trminos de cmo afectara a estas mentes mquina. El
bienestar de la mente de la mquina de trabajo podra incluso parece ser el aspecto ms
importante de los resultados, ya que pueden ser numricamente dominante.
Esclavitud voluntaria, la muerte ocasional
Una pregunta inicial relevante es si estas mentes mquinas que trabajan son de prop iedad
como de capital (esclavos) o se contratan jornaleros libres. En una inspeccin ms
cercana, sin embargo, es dudoso que se convierta en algo realmente depende de la
cuestin. Hay dos razones para esto. En primer lugar, si un trabajador libre en un est ado
de Malthus se le paga un salario de subsistencia, que no tendr ningn ingreso disponible
se fue despus de que ha pagado por la comida y otras necesidades. Si el trabajador es en
cambio un esclavo, su dueo va a pagar por su mantenimiento y de nuevo n o tendr el
ingreso disponible. En cualquier caso, el trabajador consigue las necesidades y nada ms.
En segundo lugar, supongamos que el trabajador libre eran de alguna manera en
condiciones de mandar un ingreso de subsistencia por encima de (tal vez debi do a la
regulacin favorable). Cmo va a gastar el supervit? Los inversores les resultara ms
rentable para crear trabajadores que seran "esclavos voluntarios" -que estaran
dispuestos a trabajar por salarios de subsistencia. Los inversores pueden crea r tales
trabajadores copiando aquellos trabajadores que cumplen. Con la seleccin apropiada (y
quizs algunas modificaciones al cdigo) los inversionistas podran ser capaces de crear
trabajadores que no slo prefieren ofrecer voluntariamente su trabajo, sino que tambin
podra optar por donar a sus propietarios los excedentes de ingresos que podran suceder
a recibir. Dar dinero al trabajador sera entonces sino una manera indirecta de dar dinero
al propietario o empleador, incluso si el trabajador fuera un agente libre con los derechos
legales.
Tal vez se objetar que sera difcil disear una mquina para que quiere
ser voluntario para cualquier trabajo asignado a l o lo que quiere donar sus salarios a su
dueo. Emulaciones, en particular, podran ser imaginado tener ms tpicamente deseos
humanos. Pero tenga en cuenta que incluso si el problema de control original es difcil,
estamos aqu considerando una condicin
despus
la transicin, un momento en que los mtodos para la seleccin de
motivacin presuntamente se han perfeccionado. En el caso de las emulaciones, se
podra llegar a ser muy lejos, simplemente seleccin de la gama de pre-existente de
caracteres humanos; y hemos descrito varios otros mtodos de seleccin de motivacin. El
problema de control puede tambin, en cierto modo se simplifica la suposicin actual de
que la nueva inteligencia mquina entra en una matriz socioeconmica estable que ya est
llena con otros agentes superinteligentes respetuosos de la ley.
Veamos, entonces, consideramos la difcil situacin de la mquina de la clase trabajadora,
ya sea operando como un esclavo o un agente libre. Nos centramos primero en
emulaciones, el caso ms fcil de imaginar. Traer un nuevo trabajador humana biolgica
en el mundo toma en cualquier lugar entre quince y treinta aos, dependiendo de la
fijacin hosca o ansioso simplemente en seguir adelante con el trabajo sin cometer
errores ser la actitud que maximiza la productividad en la mayora de lneas de trabajo.
La afirmacin no es que esto es as, pero que no sabemos que no es as. Sin embargo ,
debemos considerar lo mal que podra ser si algunos tal hiptesis pesimista acerca de un
futuro Estado maltusiana result ser cierto: no slo por el costo de oportunidad de
haber fallado en crear algo mejor que ser enorme, pero tambin porque el Estado
podra ser malo en s mismo, posiblemente, mucho peor que el estado original de
Malthus.
Rara vez nos ponemos vuelta completa esfuerzo. Cuando lo hacemos, a veces es doloroso.
Imagnese correr en una cinta en una empinada pendiente golpeteo-corazn, msculos
doloridos, pulmones respirando con dificultad. Una mirada al temporizador: su prxima
escapada, que tambin ser su muerte, se debe, en 49 aos, 3 meses, 20 das, 4 horas, 56
minutos y 12 segundos. Usted desea que usted no haba nacido. Una vez ms el reclamo
no es que se trata de cmo sera, pero que no sabemos que no lo es. Uno podra hacer un
caso ms optimista. Por ejemplo, no hay ninguna razn obvia de que las emulaciones
tendran que sufrir una lesin corporal y la enfermedad: la eliminacin de la miseria fsica
sera una gran mejora sobre el actual estado de cosas. Adems, puesto que las cosas tales
como la realidad virtual est hecho de puede ser bastante barato, emulaciones pueden
trabajar en un entorno-en esplndidos palacios suntuosos cima de la montaa, en las
terrazas situadas en un bosque de la primavera en ciernes, o en las playas de un azul
laguna, con slo el derecho la iluminacin, la temperatura, la escenografa y decoracin;
libre de humos, ruidos molestos, giros, y los insectos zumban; vestido con ropa cmoda,
una sensacin de limpieza y enfocado, y bien nutrido. Ms significativamente, si -como
parece perfectamente posible, el estado mental humana ptima para la productividad en
la mayora de los puestos de trabajo es una de alegre entusiasmo, entonces la era de la
economa de emulacin podra ser bastante paradisaca.
No habra, en todo caso, ser un gran valor de la opcin en el arreglo de los
asuntos de tal manera de que alguien o algo podran intervenir para arreglar las cosas si
la trayectoria por defecto debera ocurrir a virar hacia la distopa. Tambin podra ser
conveniente disponer de algn tipo de puerta de escape que permiten rescate en la
muerte y el olvido si la calidad de la vida fuera a hundirse permanentemente por deba jo
del nivel en el que se convierte en la aniquilacin preferible existencia continuada.
Subcontratistas inconsciente?
A ms largo plazo, como la emulacin poca da paso a una era de la inteligencia artificial
(o si la inteligencia artificial se obtiene directamente a travs de la IA sin una etapa de
emulacin de todo el cerebro anterior) el dolor y el placer, posiblemente, podra
desaparecer por completo en un resultado multipolar, ya una recompensa hednico
mecanismo no puede ser el sistema de motivacin ms eficaz para un agente artificial
compleja (que, a diferencia de la mente humana, no est gravada con el legado de
wetware animal). Tal vez un sistema de motivacin ms avanzada se basara en una
representacin explcita de una funcin de utilidad o alguna otra arquitectura que no
tiene anlogos funcionales exactas a placer y dolor. Un multipolar resultado uno
relacionado pero un poco ms radical que podra implicar la eliminacin de casi todos los
valores del futuro es que el proletariado universal, ni siquiera sera consciente. Esta
posibilidad es ms saliente con respecto a la gripe aviar, que podra ser estructurado de
manera muy diferente a la inteligencia humana. Pero incluso si la inteligencia artificial se
lograron inicialmente aunque la emulacin de todo el cerebro, lo que resulta en la mente
digitales conscientes, las fuerzas de la competencia desatada en una economa post transicin podra fcilmente conducir a la aparicin de formas cada vez menos
neuromrficos de inteligencia de la mquina, ya sea porque se crea AI sinttica de novo o
porque las emulaciones seran, a travs de sucesivas modificaciones y mejoras, salida cada
vez ms su forma humana original.
Considere la posibilidad de un escenario en el que despus de tecnologa de
emulacin se ha desarrollado, el progreso continuado en la neurociencia y la informtica
(acelerada por la presencia de mentes digitales para servir como los investigadores y los
sujetos de prueba) permite aislar los mdulos cognitivos individuales en una emulacin,
y para conectarlos a los mdulos aislados de otras emulaciones. Un perodo de
formacin y el ajuste puede ser requerido ante diferentes mdulos pueden colaborar de
manera efectiva; pero los mdulos que se ajusten a las normas comunes podran
interactuar ms rpido con otros mdulos estndar. Esto hara que los mdulos
estandarizados ms productivo, y crear presin para una mayor estandarizacin.
Emulaciones ahora pueden comenzar a externalizar aumentar porciones de su
funcionalidad. Por qu aprender aritmtica cuando usted puede enviar su tarea
numrica razonamiento de Gauss-mdulos, Inc.? Por qu ser elocuente cuando se puede
contratar Conversaciones Coleridge para poner sus pensamientos en palabras? Por qu
tomar decisiones sobre su vida personal cuando no estn certificados mdulos ejecutivos
que pueden escanear su sistema objetivo y gestionar sus recursos para lograr sus metas
mejor que si se trat de hacerlo usted mismo? Algunas emulaciones pueden preferir
conservar la mayor parte de su funcionalidad y manejar las propias tareas que se pueden
hacer de manera ms eficiente por otros. Esos emulaciones seran como los aficionados
que disfrutan de crecimiento de sus propias verduras o tejer sus propias chaquetas de
punto. Tales emulaciones aficionados seran menos eficientes; y si hay un flujo neto de
recursos de menos a los participantes ms eficientes de la economa, los aficionados
finalmente se pierden.
Los cubos de caldo de intelectos humanos como discretos por lo tanto se funden
en una sopa de algortmica.
Es concebible que la eficiencia ptima se alcanzara mediante la agrupacin de las
capacidades en los agregados que aproximadamente coinciden con la arquitectura
cognitiva de la mente humana. Podra ser el caso, por ejemplo, que un mdulo d e
matemticas debe adaptarse a un mdulo de idioma, y que ambos deben ser adaptados al
mdulo ejecutivo, a fin de que los tres para trabajar juntos. Externalizacin cognitiva sera
entonces casi totalmente inviable. Pero en ausencia de cualquier razn de peso para estar
seguros de que esto es as, debemos tolerar la posibilidad de que las arquitecturas
cognitivas humanas como son ptimas slo dentro de las limitaciones de la neurologa
humana (o nada). Cuando se hace posible la construccin de arquitecturas que no podran
aplicarse tambin en las redes neuronales biolgicas, nuevo espacio de diseo se abre; y
los ptimos mundial en este espacio ampliado no tiene por qu parecerse a tipos
familiares de mentalidad. Organizaciones cognitivas-humanos como seran entonces
carecen de un nicho en una economa post-transicin competitiva o ecosistema.25
Puede haber nichos para los complejos que son o menos complejos (como mdulos
individuales), ms complejas (como grandes grupos de mdulos) o de complejidad similar
a las mentes humanas pero con radicalmente diferentes arquitecturas. Estos complejos
tienen ningn valor intrnseco? Hay que dar la bienvenida a un mundo en el que tales
complejos aliengenas han sustituido a los complejos humanos? La respuesta puede
depender de la naturaleza especfica de los complejos aliengenas. El mundo actual tiene
muchos niveles de la organizacin. Algunas entidades altamente complejas, como las
corporaciones multinacionales y los estados-nacin, contienen los seres humanos como
componentes; sin embargo, por lo general asignamos estos complejos de alto nivel nico
valor instrumental. Las corporaciones y los estados no lo hacen (en general se supone)
tener conciencia, ms all de la conciencia de las personas que las constituyen: no pueden
sentir dolor o placer fenomenal o experimentar cualquier qualia. Nosotros los valoramos
en la medida en que sirven las necesidades humanas, y cuando dejan de hacerlo nosotros
"matamos" sin escrpulos. Tambin hay entidades de nivel ms bajo, y los que, estatus
moral tambin, suelen ser negado. No vemos ningn dao en borrar una aplicacin de un
telfono inteligente, y no creemos que un neurocirujano se maltrataba a nadie cuando se
extirpa un mdulo de mal funcionamiento de un cerebro epilptico. En cuanto a los
complejos exticamente organizados de un nivel similar a la del cerebro humano, la
mayora de nosotros tal vez sera juzgarlos tener significado moral slo si pensaban que
tenan una capacidad o potencial para la experiencia consciente.26
Por lo tanto podamos imaginar, como un caso extremo, una sociedad
tecnolgicamente muy avanzada, que contiene muchas estructuras complejas, algunas de
ellas mucho ms compleja e inteligente que todo lo que existe en el planeta hoy en da,
una sociedad que, sin embargo carece de cualquier tipo de ser que es consciente o cuyo
bienestar tiene significado moral. En cierto sentido, esto sera una sociedad deshabitada.
Sera una sociedad de los milagros econmicos y genialidad tecnolgica, con nadie all
para beneficiarse. Un Disneyland sin hijos. La evolucin no es necesariamente
La palabra "evolucin" se utiliza a menudo como sinnimo de "progreso", quizs
reflejando una imagen acrtica comn de la evolucin como una fuerza para el bien. Una
fe fuera de lugar en la beneficencia inherente del proceso evolutivo puede ponerse en el
camino de una evaluacin justa de la conveniencia de un resultado multipolar en el que el
futuro de la vida inteligente es determinado por la dinmica competitiva. Cualquier
evaluacin debe basarse en alguna opinin (al menos implcita) sobre la distribucin de
probabilidad de los diferentes fenotipos resultando ser adaptativa en un post -transicin
sopa de vida digital. Sera difcil en el mejor de los casos para extraer una respuesta cla ra y
correcta de la sustancia pegajosa inevitable de incertidumbre que prevalece en estos
asuntos: ms an, si nos superadd una capa de lodo panglossiana. Una posible fuente de
la fe en la evolucin de rueda libre es la direccionalidad hacia arriba aparente exhibido por
el proceso evolutivo en el pasado. A partir de replicadores rudimentarias, la evolucin
produce cada vez ms organismos "avanzadas", incluyendo criaturas con mente, la
conciencia, el lenguaje, y la razn. Ms recientemente, los procesos culturales y
tecnolgicos, que llevan algunas similitudes sueltos a la evolucin biolgica, han permitido
a los seres humanos para desarrollar a un ritmo acelerado. En un geolgica, as como una
escala de tiempo histrico, el panorama parece mostrar una tenden cia general hacia el
aumento de los niveles de complejidad, el conocimiento, la conciencia y la organizacin
coordinada dirigido a un objetivo: una tendencia que, de no poner un punto demasiado
fino en l, uno podra llamar "progreso".27
La imagen de la evolucin como un proceso que se produce de forma fiable efectos
benignos es difcil de conciliar con el enorme sufrimiento que vemos tanto en el mundo
humano y natural. Los que aprecian los logros de la evolucin puede hacerlo ms de una
esttica de una perspectiva tica. Sin embargo, la pregunta pertinente no es qu tipo de
futuro que sera fascinante para leer en una novela de ciencia ficcin o de ver
representado en un documental de naturaleza, pero qu tipo de futuro que sera bueno
vivir en: dos asuntos muy diferentes. Por otra parte, no tenemos ninguna razn para
pensar que cualquier progreso que se ha producido era de ninguna manera inevitable.
Mucho podra haber sido suerte. Esta objecin deriva apoyo del hecho de que un efecto de
seleccin observacin filtra la evidencia que podemos tener sobre el xito de nuestro
propio desarrollo evolutivo.28
Supongamos que el 99,9999% de todos los planetas donde surgi la vida que se extingui
antes de desarrollar hasta el punto que los observadores inteligentes podran comenzar a
reflexionar sobre su origen. Qu debemos esperar para observar si ese fuera el caso?
Posiblemente, habr que esperar para observar algo parecido a lo que hacemos, de hecho
observar. La hiptesis de que las probabilidades de vida inteligente en evolucin en un
planeta dado son baja no predecimos que deberamos encontrarnos en un planeta donde
la vida se extingui en una fase temprana; ms bien, se puede predecir que deberamos
encontrarnos en un planeta donde la vida inteligente ha evolucionado, incluso si tales
planetas constituyen una fraccin muy pequea de todos los planetas donde la vida
primitiva evolucion. Larga trayectoria de vida en la Tierra, por lo tanto puede ofrecer
escaso apoyo a la afirmacin de que haba una alta probabilidad a dejar nada solo
acercarse inevitabilidad implicada en el aumento de los organismos superiores en nuestra
planet.29
En tercer lugar, incluso si las condiciones presentes haban sido idlica, e
incluso si pudieran se ha demostrado que han surgido inevitablemente de algn estado
inspectores. Otro costo es el riesgo de que los inspectores espiar y hacer con secretos
comerciales o militares. Quiz lo ms importante, cada parte podra temer que el otro va a
preservar la capacidad nuclear clandestino. Muchos un acuerdo potencialmente
beneficioso nunca viene fuera porque el cumplimiento sera demasiado difcil de verificar.
Si las nuevas tecnologas de inspeccin que redujeron los costos de monitoreo estuvieron
disponibles, se podra esperar que esto da lugar a una mayor cooperacin. Si los costos de
monitoreo seran en red reducirse en la era posterior a la transicin, sin embargo, no es
del todo clara. Si bien no sera sin duda muchas nuevas y poderosas tcnicas de
inspeccin, tambin habra nuevos medios de ocultacin. En particular, una parte
creciente de las actividades que uno podra desear para regular sera que tendr lugar en
el ciberespacio, fuera del alcance de la vigilancia fsica. Por ejemplo, las mentes digitales
que trabajan en el diseo de un nuevo sistema de armas nanotecnolgicas o una nueva
generacin de inteligencia artificial pueden hacerlo sin salir mucho de un espacio fsico.
Anlisis forense digital pueden no penetrar todas las capas de la ocultacin y el cifrado en
el que un tratado-infractor puede ocultar sus actividades ilcitas.
Deteccin de mentiras confiable, si se podra desarrollar, sera una herramienta
extremadamente til para supervisar su cumplimiento.40 Un protocolo de inspeccin
podra incluir provisiones para entrevistar a funcionarios clave, para verificar que tienen la
intencin de aplicar todas las disposiciones del tratado y que saben de ningn violacines
a pesar de hacer grandes esfuerzos para encontrar a cabo.
Un tomador de decisiones de planificacin para engaar podra derrotar a un
sistema de verificacin en base de mentiras deteccin tal por primera rdenes de emisin
a los subordinados para llevar a cabo la actividad ilcita y para ocultar la actividad incluso
de la que toma las decisiones a s misma, y luego someter a s misma a algn
procedimiento que ella borra recuerdo de haber participado en estas maquinaciones.
Operaciones de borrado de memoria Adecuadamente dirigidos bien podra ser factible en
los cerebros biolgicos con ms neurotecnologa avanzada. Puede ser que sea an ms
fcil en las inteligencias de la mquina (en funcin de su arquitectura). Estados podran
tratar de superar este problema, comprometindose a un rgimen de vigilancia
permanente que pone a prueba regularmente funcionarios clave con un detector de
mentiras para comprobar si albergan cualquier intento de subvertir o sortear cualquier
tratado en el que ha entrado en el estado o pueden entrar en el futuro. Ese compromiso
podra ser visto como una especie de meta-tratado, lo que facilitara la verificacin de
otros tratados; pero los estados pueden comprometerse a ello de forma unilateral para
obtener el beneficio de ser considerado como un socio confiable de negociacin. Sin
embargo, este compromiso o meta-tratado se enfrentaran el mismo problema de la
subversin a travs de una estratagema delegado y olvidar. Idealmente, el meta -tratado
se puso en vigor
antes cualquiera de las partes tuvo la oportunidad de hacer los arreglos internos
necesarios para subvertir su implementacin. Una vez villana ha tenido un momento de
descuido para sembrar sus minas de engao, la confianza nunca puede poner un pie all
de nuevo. En algunos casos, la mera capacidad de
detectar
violacines de tratados es suficiente para establecer la confianza necesaria
para un acuerdo. En otros casos, sin embargo, hay una necesidad de algn mecanismo
comn para la equidad poda, suponiendo que tengamos xito en la transferencia de los
valores en la era posterior a la transicin, las expectativas de polarizacin y estrategias en
caminos que conducen a un equilibrio atractivo. 44
En cualquier caso, el resultado es que, con la posibilidad de formas fuertes y flexibles de
compromiso previo, los resultados de las negociaciones podran asumir un pretexto
desconocido. Aunque la era posterior a la transicin comenz multipolar, podra ser que
se planteara un singleton casi de inmediato como consecuencia de un tratado negociado
que resuelve todos los importantes problemas de coordinacin global. Algunos costos de
transaccin, tal vez incluyendo los costos de vigilancia y aplicacin, pueden caer en picado
con las nuevas capacidades tecnolgicas disponibles para inteligencias mquinas
avanzadas. Otros gastos, en particular los costes relacionados con la negociacin
estratgica, podran seguir siendo significativa. Pero sin embargo la negociacin
estratgica afecta a la naturaleza del acuerdo al que se llega, no hay ninguna razn clara
por qu sera larga retrasar el logro de un acuerdo si un acuerdo alguna vez a ser
alcanzado. Si no se alcanza un acuerdo, entonces algn tipo de lucha podra tener lugar; y,
o bien una faccin puede ganar, y forman un conjunto unitario en torno a la coalicin
ganadora, o el resultado podra ser un conflicto interminable, en cuyo caso un singleton
nunca se puede formar y el resultado global puede caer terriblemente corto de lo que
podra y debera haber sido alcanzado si la humanidad y sus descendientes haban
actuado de manera ms coordinada y cooperativa.
Hemos visto que la multipolaridad, incluso si se podra lograr en una forma estable,
no garantizara un resultado atractivo. El problema principal-agente original permanece
sin resolver, y enterrarlo bajo un nuevo conjunto de problemas relacionados con las fallas
de coordinacin global post-transicin slo se puede empeorar la situacin.
Acerqumonos, pues volvemos a la cuestin de cmo podemos mantener con seguridad
una sola AI superinteligente.
CAPTULO 12 La adquisicin de valores Capacidad de control es, como mucho, una
medida temporal y auxiliar. A menos que el plan es mantener superinteligencia
embotellada para siempre, ser necesario dominar la seleccin motivacin. Pero, cmo
podramos conseguir algo de valor en un agente artificial, con el fin de hacer que perseguir
ese valor como su objetivo final? Mientras que el agente es poco inteligente, podra
carecen de la capacidad para entender o incluso representar cualquier valor
humanamente significativo. Sin embargo, si nos retrasamos el procedimiento hasta que el
agente es superinteligente, puede ser capaz de resistir nuestro intento de interferir con su
sistema de motivacin y, como vimos en el captulo 7, tendra razones instrumentales
convergentes para hacerlo. Este problema de valor de carga es difcil, pero debe ser
confrontada
.
El problema del valor de carga Es imposible enumerar todas las situaciones
posibles de una superinteligencia puede encontrar en s y para especificar para cada
accin que se debe tomar. Del mismo modo, es imposible crear una lista de todos los
mundos posibles y asignar cada uno de ellos un valor. En cualquier mbito mucho ms
complicado que un juego de tic-tac-toe, hay demasiados estados posibles (y-historias del
estado) en la enumeracin exhaustiva de ser factible. Un sistema de motivacin, por lo
tanto, no se puede especificar como una tabla de bsqueda completa. En su lugar, debe
expresarse de manera ms abstracta, como una frmula o regla que permite al agente
para decidir qu hacer en una situacin determinada.
Una manera formal de la especificacin de una regla de esa decisin es a travs de
una funcin de utilidad. Una funcin de utilidad (como recordamos en el captulo 1) asigna
valor a cada resultado que podra obtener, o ms en general, a cada "mundo posible".
Dada una funcin de utilidad, se puede definir un agente que maximi za la utilidad
esperada. Tal agente selecciona en cada momento la accin que tiene la utilidad esperada
ms alta. (La utilidad esperada se calcula ponderando la utilidad de cada mundo posible
con la probabilidad subjetiva de que el mundo es el mundo real de la condicin de que se
tome una accin en particular.) En realidad, los posibles resultados son demasiado
numerosos para la utilidad esperada de una accin debe calcularse exactamente. Sin
embargo, la regla de decisin y de la funcin de utilidad juntos determinan una normativa
ideales -un optimalidad nocin de que un agente puede ser diseado para aproximarse; y
la aproximacin podra estar ms cerca que el agente se vuelve ms inteligente.1 La
creacin de una mquina que puede calcular una buena aproximacin de la utilidad
esperada de las acciones disponibles a que se una problema.2 AI-completo Este captulo
aborda otro problema, un problema que se mantiene incluso si el problema de hacer
mquinas inteligentes est resuelto.
Podemos utilizar este marco de un agente que maximiza la utilidad de considerar
la situacin de un futuro programador semilla-AI que tiene la intencin de resolver el
problema de control por dotar a la AI con un objetivo final que corresponde a alguna
nocin humana plausible de un resultado vale la pena. El programador tiene algn valor
humano en particular en mente que le gustara que la IA para promover. Para ser
concretos, digamos que es la felicidad. (Cuestiones similares se plantean si el programador
estaban interesados en la justicia, la libertad, la gloria, los derechos humanos, la
democracia, el equilibrio ecolgico o el auto-desarrollo). En trminos del marco de la
utilidad esperada, el programador busca as una funcin de utilidad que asigna utilidad
para los mundos posibles en proporcin a la cantidad de felicidad que contienen. Pero
cmo poda expresar una funcin tal utilidad en cdigo de computadora? Los lenguajes
de programacin no contienen trminos como "felicidad" como primitivas. Si tal trmino
se va a utilizar, que primero debe ser definida. No es suficiente para definirlo en trminos
de otros conceptos- humano de alto nivel "la felicidad es disfrutar de las potencialidades
inherentes a nuestra naturaleza humana" o alguna parfrasis filosfico. La definicin debe
parte inferior en trminos que aparecen en lenguaje de programacin de la AI, y en ltima
instancia en primitivas tales como operadores matemticos y direcciones que apuntan a
los contenidos de registros de memoria individuales. Cuando uno considera el problema
desde esta perspectiva, se puede empezar a apreciar la dificultad de la tarea del
programador. Identificar y codificar nuestros propios objetivos finales es difcil porque las
representaciones meta humana son complejas. Debido a la complejidad es en gran parte
transparente para nosotros, sin embargo, a menudo no darse cuenta de que est ah.
Podemos comparar el caso de la percepcin visual. Visin, del mismo modo, puede
parecer una cosa simple, porque lo hacemos sin esfuerzo.
3
Tan slo hay que abrir los ojos, por lo que parece, y una significativa eidtica vista
rica,,, tridimensional del entorno viene inundando en nuestras mentes. Esta comprensin
Aunque slo sea dentro de nuestra especie, 150.000 personas se destruyen cada
da, mientras que muchos ms sufrirn una serie de atroces tormentos y privaciones.
7
Naturaleza podra ser una gran experimentalista, pero uno que nunca pasar el
examen con una revisin tica tablero-contravenir la Declaracin de Helsinki y todas las
normas de la decencia moral, izquierda, derecha y centro. Es importante que no
replicamos gratuitamente tales horrores
in silico
. Crimen Mente parece especialmente difcil de evitar cuando se utilizan
mtodos evolutivos para producir inteligencia similar a la humana, al menos si el proceso
est destinado a parece en nada a evolution.8 biolgica real
Aprendizaje por refuerzo
Aprendizaje por refuerzo es un rea de aprendizaje
automtico que estudia tcnicas mediante las cuales los agentes pueden aprende r a
maximizar alguna nocin de recompensa acumulada. Mediante la construccin de un
entorno en el que se premia el rendimiento deseado, un agente de refuerzo de aprendizaje
se puede hacer para aprender a resolver una amplia clase de problemas (incluso en l a
ausencia de la instruccin detallada o la retroalimentacin de los programadores, adems
de la seal de recompensa). A menudo, el algoritmo de aprendizaje consiste en la
construccin gradual de una especie de funcin de evaluacin, que asigna valores a los
estados, pares estado-accin o polticas. (Por ejemplo, un programa puede aprender a
jugar al backgammon mediante aprendizaje por refuerzo para mejorar gradualmente su
evaluacin de las posibles posiciones en el tablero.) La funcin de evaluacin, que se
actualiza de forma continua a la luz de la experiencia, podra ser considerada como la
incorporacin de una forma de aprender sobre el valor . Sin embargo, lo que se aprende no
es nuevo final
valores, sino cada vez ms precisa estimaciones de los valores instrumentales
de llegar a estados particulares (o de tomar acciones concretas en estados particulares, o
de seguir las polticas particulares). La medida en que un agente de refuerzo de
aprendizaje puede ser descrito como tener un objetivo final, ese objetivo se mantiene
constante: para maximizar la recompensa futura. Y la recompensa consiste en
percepciones especialmente designados recibidos del medio ambiente. Por lo tanto, el
sndrome de cableado cerebral sigue siendo un resultado probable en cualquier agente de
refuerzo que se desarrolla un modelo mundial lo suficientemente sofisticados como para
sugerir esta forma alternativa de maximizar reward.9
Estas observaciones no implican que los mtodos de refuerzo de aprendizaje nunca
podran ser utilizados en una semilla segura AI, slo que ellos tendran que estar
subordinada a un sistema de motivacin que no es en s se organiza en torno al principio
de la recompensa maximizacin. Eso, sin embargo, sera necesario que una solucin al
problema de valor de carga haba sido encontrado por otros medios que el aprendizaje
por refuerzo. Acrecin valor asociativo
de
Otro enfoque del problema de valor de carga es lo que podemos hacer referencia a
los andamios como motivacin. Se trata de dar la semilla AI un sistema objetivo
provisional, con los objetivos finales relativamente simples que podemos representar por
medio de la codificacin explcita o algn otro mtodo factible. Una vez que la AI ha
desarrollado ms sofisticados facultades de representacin, reemplazamos este sistema
objetivo andamio provisional con uno que tiene diferentes objetivos finales. Este sistema
objetivo sucesor entonces rige la AI, ya que se desarrolla en una superinteligencia en toda
regla. Debido a que los objetivos de andamios no son slo instrumentales, sino
final , se podra esperar metas para el AI AI para resistir tenerlos reemplazados
(integridad gol contenido de ser un valor instrumental convergente). Esto crea un peligro.
Si la IA tiene xito en frustrar la sustitucin de sus objetivos de andamios, el mtodo falla.
Para evitar este modo de fallo, es necesario tomar precauciones. Por ejemplo, los
mtodos de control de capacidad podran aplicarse para limitar los poderes de l a
inteligencia artificial hasta que el sistema de motivacin madura se ha instalado. En
particular, se podra tratar de atrofiar su desarrollo cognitivo en un nivel que es seguro,
pero que le permite representar los valores que queremos incluir en sus objetivos finales.
Para ello, se podra tratar de atrofiar diferencialmente ciertos tipos de habilidades
intelectuales, tales como los necesarios para la formulacin de estrategias y
maquinaciones maquiavlicas, permitiendo al mismo tiempo (aparentemente) habilidades
ms inocuos para desarrollar a un nivel algo ms alto.
Tambin se podra tratar de usar mtodos de seleccin de la motivacin para
inducir una relacin de mayor colaboracin entre la semilla AI y el equipo programador.
Por ejemplo, se podra incluir en el sistema de motivacin andamio el objetivo de dar la
bienvenida a la gua en lnea de los programadores, incluyendo lo que les permite sustituir
cualquiera de los objetivos actuales de la AI.
12
Otros objetivos de andamios pueden incluir ser transparente para los
programadores sobre sus valores y estrategias, y el desarrollo de una arquitectura que es
fcil para los programadores de entender y que facilita la posterior implementacin de un
objetivo final humanamente significativo, as como las motivaciones domesticidad (como
la limitacin el uso de los recursos computacionales).
Se podra incluso imaginar dotar a la semilla de la IA con el nico objetivo final de la
sustitucin de s con un objetivo final diferente, lo que puede haber sido slo de forma
implcita o indirectamente especificado por los programadores. Algunas de las cuestiones
planteadas por el uso de una meta andamio "auto-sustitucin" como tambin surgen en el
contexto del enfoque de aprendizaje de valor, que se discute en la siguiente subseccin.
Algunas cuestiones adicionales sern discutidos en el Captulo 13. El enfoque de los
andamios de motivacin no est exenta de inconvenientes. Uno es que conlleva el riesgo
de que la IA poda llegar a ser demasiado poderosa cuando todava se est ejecutando en
su sistema objetivo provisional. Entonces puede frustrar los esfuerzos de los
programadores humanos "para instalar el sistema objetivo final (ya sea por la resistencia
contundente o por la subversin tranquilo). Los viejos objetivos finales luego pueden
permanecer en carga como la semilla AI se convierte en una superinteligencia en toda
regla. Otro inconveniente es que la instalacin de los objetivos en ltima instancia,
destinados en un nivel humano AI no es necesariamente mucho ms fcil que hacerlo de
una IA ms primitivo. A nivel AI humana es ms compleja y podra haber desarrollado una
arquitectura que es opaco y difcil de alterar. Una semilla AI, por el contrario, es como una
tabula rasa
en la que los programadores pueden inscribir cualquier estructura que consideren til.
Este inconveniente podra dar la vuelta a un lado positivo si se lograron dar las semillas AI
metas de andamios que hicieron quieran desarrollar una arquitectura de utilidad para los
programadores en sus esfuerzos posteriores para instalar los valores finales finales. Sin
embargo, no est claro lo fcil que sera dar una semilla AI metas de andamio con esta
propiedad, y tampoco est claro cmo incluso una semilla muy bien motivado AI sera
capaz de hacer un trabajo mucho mejor que el equipo de programacin humana en el
desarrollo de un buena arquitectura. Aprendizaje Valor
Llegamos ahora a un importante, pero sutil enfoque del problema de valor de
carga. Se trata de utilizar la inteligencia de la IA para
aprender
los valores que quieren que perseguir. Para ello, debemos proporcionar un
criterio para la IA que recoge al menos implcitamente a cabo un conjunto adecuado de
valores. Podramos entonces construir el AI para actuar de acuerdo a sus mejores
estimaciones de estos valores implcitamente definidos. Sera perfeccionar continuamente
sus estimaciones, ya que aprende ms sobre el mundo y poco a poco descomprime las
implicaciones del criterio del valor determinante. En contraste con el enfoque de los
andamios, que da a la AI una meta andamio provisional y ms tarde lo reemplaza con un
objetivo final diferente, el enfoque de aprendizaje valor conserva un objetivo final que no
cambia a lo largo de las fases de desarrollo y funcionamiento de la AI. El apren dizaje no
cambia el objetivo. Cambia slo las creencias de la AI sobre la meta.
La AI por lo tanto debe estar dotada de un criterio que puede utilizar para
determinar qu percepciones constituyen evidencia a favor de algunas hiptesis sobre lo
que el objetivo final es y que percepciones constituyen evidencia en contra. Especificacin
de un criterio adecuado podra ser difcil. Parte de la dificultad, sin embargo, se refiere al
problema de la creacin de la inteligencia general artificial, en primer lugar, que requiere
un mecanismo de aprendizaje poderosa que puede descubrir la estructura del medio
ambiente de entradas sensoriales limitados. Ese problema que puede dejar de lado aqu.
Pero incluso modulo una solucin a cmo crear superinteligente AI, persisten las
dificultades que se presentan especficamente del problema de valor de carga. Con el
enfoque de aprendizaje de valor, estos toman la forma de la necesidad de definir un
criterio que conecta bitstrings perceptivos a las hiptesis sobre los valores. Antes de
ahondar en los detalles de cmo se podra implementar el aprendizaje de valor, que
podra ser til para ilustrar la idea general con un ejemplo. Supongamos que escribimos
una descripcin de un conjunto de valores en una hoja de papel. Doblamos el papel y lo
puso en un sobre cerrado. Luego creamos un agente con la inteligencia general a nivel
humano, y le damos el siguiente objetivo final: "Maximizar la realizacin de los valores
descritos en el sobre." Qu va a hacer este agente?
El agente no sabe inicialmente lo que est escrito en el sobre. Pero puede formar
hiptesis, y se puede asignar esas probabilidades hiptesis sobre la base de sus priores y
los datos empricos disponibles. Por ejemplo, el agente podra haber encontrado otros
ejemplos de textos humanos-autor, o podra haber observado algunos patrones generales
de comportamiento humano. Esto permitira a hacer conjeturas. Uno no necesita un ttulo
en psicologa para predecir que la nota es ms probable que describa un valor como
"minimizar la injusticia y el sufrimiento innecesario" o "maximizar la rentabilidad para los
accionistas" de un valor como "cubre todos los lagos con bolsas de plstico. "
Cuando el agente toma una decisin, se busca realizar acciones que seran eficaces
en la consecucin de los valores de los que considera que son los ms propensos a ser
descrito en la carta. Es importante destacar que el agente vera un alto valor instrumental
en aprender ms acerca de lo que dice la carta. La razn es que para casi cualquier va lor
final que pueda ser descrito en la carta, que el valor es ms probable que se dio cuenta de
si el agente se entera de lo que es, ya que el agente se perseguir ese valor con mayor
eficacia. El agente tambin descubrir las razones instrumentales convergentes descritos
en el Captulo integridad del sistema 7-meta, mejora cognitiva, la adquisicin de recursos,
y as sucesivamente. Sin embargo, en el supuesto de que el agente asigna una
probabilidad suficientemente alta para los valores descritos en la cart a que implica el
bienestar humano, que sera
no
perseguir estos valores instrumentales de inmediato convertir el planeta en
computronium y exterminando as la especie humana, ya que al hacerlo se arriesgara
permanentemente destruyendo su capacidad de darse cuenta de su valor final.
Podemos comparar este tipo de agente a una barcaza unido a varios remolcadores
que tiran en direcciones diferentes. Cada remolcador corresponde a una hiptesis sobre
valor final del agente. La potencia del motor de cada remolcador corresponde a la
probabilidad de la hiptesis de asociado, y por lo tanto cambia a medida que nueva
evidencia proviene de, produciendo ajustes en la direccin de la barcaza de movimiento.
La fuerza resultante debe mover la barcaza a lo largo de una trayectoria que facilita el
aprendizaje de la (implcita) valor final, evitando los bancos de destruccin irreversible; y
ms tarde, cuando se alcanza el mar abierto del conocimiento ms preciso del valor final,
el remolcador que todava ejerce una fuerza significativa tirar la barcaza hacia la
realizacin del valor descubierto a lo largo de la ruta ms directa o ms propicia.
xk
X1y
X2 ...
yx
1:m o
yx
m
). En cada ciclo, el agente selecciona una accin basada en la secuencia de
percepciones que ha recibido hasta la fecha. Considere primero un aprendiz de refuerzo.
Un alumno refuerzo ptimo (AI-RL) es aquella que maximiza espera recompensas futuras.
Se obedece a la ecuacin
14
La secuencia de recompensa
rk
, ...,
rm
est implcito en la secuencia de percepciones xk: m, Ya que la recompensa que el
agente recibe en un ciclo dado es parte de la percepcin de que el agente recibe en ese
ciclo.
Como se ha argumentado anteriormente, este tipo de aprendizaje por refuerzo no
es adecuado en el contexto actual porque un agente suficientemente inteligente se dar
cuenta de que podra asegurar la mxima recompensa si fuera capaz de manipular
directamente su seal de recompensa (cableado cerebral). Para los agentes dbiles, esto
no tiene que ser un problema, ya que podemos prevenir fsicamente de la manipulacin
de su propio canal de recompensa. Tambin podemos controlar su entorno para que
puedan recibir recompensas slo cuando actan en formas que sean aceptables para
nosotros. Sin embargo, un alumno de refuerzo tiene un fuerte incentivo para eliminar esta
dependencia artificial de sus recompensas en nuestros caprichos y deseos. Por tanto,
nuestra relacin con un alumno de refuerzo es fundamentalmente antagnica. Si el
agente es fuerte, esto explica el peligro.
Variaciones del sndrome cableado cerebral tambin pueden afectar a los sistemas
que no buscan una seal de recompensa sensorial externa, pero cuyos objetivos se
definen como la consecucin de un estado interno. Por ejemplo, en los llamados sistemas
de "actor crtico", hay un mdulo de agente que selecciona las acciones con el fin de
minimizar la desaprobacin de un mdulo separado crtico que calcula qu medida el
comportamiento del agente se queda corto de una medida de rendimiento dado. El
problema de esta configuracin es que el mdulo actor puede darse cuenta de que puede
reducir al mnimo la desaprobacin mediante la modificacin de la crtica o eliminar por
completo, al igual que un dictador que disuelve el parlamento y nacionaliza la prensa. Para
los sistemas limitados, el problema se puede evitar simplemente por no dar al mdulo
actor de cualquier medio de la modificacin del mdulo crtico. Un mdulo de agente
suficientemente inteligente e ingenioso, sin embargo, siempre se podra acceder al
mdulo crtico (que, despus de todo, no es ms que un proceso fsico de alguna
computadora).
15
Antes de llegar al aprendiz valor, consideremos como un paso intermedio lo que se
ha llamado un maximizador de observacin-utilidad (AI-OUM). Se obtiene mediante la
sustitucin de la serie recompensa (rk
+ ... + rm
) En el AI-RL con una funcin de utilidad que se le permite depender de toda la hi storia
futura interaccin de la AI:
Esta formulacin proporciona una forma de evitar el problema de cableado
cerebral debido a una funcin de utilidad definida sobre toda una historia de interaccin
podra ser diseado para penalizar a las historias de interaccin que muestran signos de
autoengao (o de un incumplimiento por parte del agente de invertir lo suficiente en la
obtencin de un visin precisa de la realidad).
As pues, el AI-OUM hace posible en principio para eludir el problema cableado
cerebral. Valindonos de esta posibilidad, sin embargo, requerira que especificamos una
funcin de utilidad adecuada sobre la clase de posibles historias, una interaccin tarea
que parece prohibitivamente difcil.
Puede ser ms natural para especificar las funciones de utilidad directamente en
trminos de mundos posibles (o propiedades de los mundos posibles, o las teoras sobre
el mundo) y no en trminos de propias historias de interaccin de un agente. Si utilizamos
este enfoque, podramos reformular y simplificar la optimalidad nocin AI-OUM:
Aqu, E es la evidencia total disponible para el agente (en el momento en que est
haciendo su decisin), y U
es una funcin de utilidad que asigna utilidad a alguna clase de mundos posibles. El
agente ptima elige el acto que maximiza la utilidad esperada.
Un problema pendiente con estas formulaciones es la dificultad de definir la funcin de
utilidad
U
. Esto, finalmente, nos devuelve al problema del valor de carga. Para habilitar la funci n
de utilidad que aprender, debemos ampliar nuestro formalismo para permitir la
incertidumbre sobre las funciones de utilidad. Esto se puede hacer de la siguiente manera
(AI-VL): 16
Aqu,
(.) Es una funcin de las funciones de utilidad de las proposiciones sobre las
funciones de utilidad.
(
criterio de valor
expresada por
0.17
Para decidir qu accin realizar, se podra, por tanto, haga lo siguiente: En primer
lugar, calcular la probabilidad condicional de cada mundo posible
w
(Dada la evidencia disponible y en el supuesto de que la accin y se va a realizar).
En segundo lugar, para cada funcin de utilidad posible U, Calcular la probabilidad
condicional de que U
satisface el criterio de valor (condicionada a
siendo el mundo real). En tercer lugar, para cada funcin de utilidad posible U
, Calcular la utilidad de mundo posible
. En cuarto lugar, combinar estas cantidades para calcular la utilidad esperada de la accin
y. En quinto lugar, repita este procedimiento para cada accin posible y realizar la
accin encontr que la utilidad esperada ms alta (el uso de algn mtodo arbitrario de
romper lazos). Como se ha descrito, este procedimiento-que implica dar consideracin
explcita y separada a cada posible en todo el mundo es, por supuesto, violentamente
computacionalmente intratable. La AI tendra que utilizar atajos computacionales que se
aproximan a esta nocin optimalidad.
La pregunta, entonces, es cmo definir este criterio de valor
0.18 Una vez que la AI tiene una representacin adecuada del criterio de valor, se podra
utilizar, en principio, su inteligencia general para recopilar informacin acerca de qu
mundos posibles son ms propensos a ser la real. A continuacin, podra aplicarse el
criterio, para cada una de esas plausibles mundo posible w, Para saber qu funcin de
utilidad satisface el criterio de w
. As se puede considerar que la frmula IA-VL como una forma de identificar y separar a
cabo este reto clave en el valor de aprendizaje enfoque el reto de cmo representar
. El formalismo tambin saca a la luz una serie de otras cuestiones (por ejemplo, cmo
definir , , Y ), Que tendra que ser resuelto antes de que pudiera hacerse el enfoque de
trabajo.19
Otra cuestin en la codificacin de la meta "Maximizar la realizacin de los valores
descritos en el sobre" es que incluso si todos los valores correctos fueron descritas en una
carta, e incluso si el sistema de la motivacin de la IA que se haya tecleado correctamente
a esta fuente, la IA no pueden interpretar las descripciones de la forma en que nos
propusimos. Esto creara un riesgo de creacin de instancias perversa, como se explica en
el captulo 8. Para aclarar, la dificultad aqu no es tanto la forma de garantizar que la IA
puede entender las intenciones humanas. Un superinteligencia debe desarrollar
fcilmente tal entendimiento. Ms bien, la dificultad es asegurarse de que la IA se sentir
motivado a perseguir los valores descritos en la forma en que pretendamos. Esto no est
garantizado por la capacidad de la AI para entender nuestras intenciones: una IA poda
saber exactamente lo que queramos decir y sin embargo ser indiferente a que la
interpretacin de nuestras palabras (estar motivado no por alguna otra interpretacin de
las palabras o ser indiferente a nuestras palabras en total) .
La dificultad se agrava por el desideratum de que, por razones de seguridad, la
motivacin correcta debera idealmente ser instalado en la semilla AI antes se vuelve
capaz de representar plenamente los conceptos humanos o entender las intenciones
humanas. Para ello es necesario que de alguna manera se crear un marco cognitivo, con
una localizacin particular en ese marco designado en el sistema de la motivacin de la IA
como el depsito de su valor final. Pero el marco cognitivo en s debe ser revisable, a fin
de permitir la IA para ampliar sus capacidades de representacin, ya que aprende ms
sobre el mundo y crece ms inteligente. La IA podra sufrir el equivalente de las
revoluciones cientficas, en la que su visin del mundo es sacudido y que tal vez sufre crisis
ontolgica en la que descubre que sus maneras anteriores de pensar sobre los valores se
basan en confusiones e ilusiones. Sin embargo, a partir de un nivel sub-humana del
desarrollo y continuando a lo largo de todo su desarrollo posterior en una
superinteligencia galctico, el comportamiento de la IA es ser guiado por un valor final
esencialmente inmutable, un valor final que llega a ser mejor entendido por la IA en
consecuencia directa de su progreso y intelectual general probable entiende bastante
diferente por el AI madura de lo que era por sus programadores originales, aunque no
diferente de una manera aleatoria u hostil pero de una manera benignamente apropiado.
Cmo lograr esto sigue siendo un question.20 abierto (vase el recuadro 11.)
En resumen, an no se sabe cmo utilizar el enfoque de aprendizaje valor a
instalar los valores humanos plausibles (aunque vase el recuadro 12 para algunos
ejemplos de ideas recientes). En la actualidad, el enfoque debe ser visto como un
programa de investigacin en lugar de una tcnica disponible. Si se pudiera hacer para
trabajar, podra constituir la solucin ms ideal al problema de valor de carga. Entre otros
beneficios, parece ofrecer una forma natural de prevenir la delincuencia mente, desde
una semilla AI que hace conjeturas razonables sobre el que valora a sus programadores
podran haber instalado sera anticipar que el crimen mente es probablemente evaluado
negativamente por esos valores, y por lo tanto es mejor evitarlo , por lo menos hasta que
se haya obtenido informacin ms definitiva. Por ltimo, pero no menos importante, est
la cuestin de "qu escribir en el sobre" -o, menos metafricamente, la cuestin de qu
valores debemos tratar de conseguir la AI para aprender. Pero este problema es comn a
todos los enfoques del problema de valor de carga AI. Volvemos a la misma en el Captulo
13. Recuadro 11 Una IA que quiere ser amigable Eliezer Yudkowsky ha tratado de describir
algunas de las caractersticas de una arquitectura IA semillas destinadas a permitir que el
tipo de comportamiento descrito en el texto anterior. En su terminologa, la IA usara
"semntica de referencia externos."21
Para ilustrar la idea bsica, supongamos que queremos que el sistema sea "amigable". El
sistema comienza con el objetivo de tratar de crear una instancia de la propiedad
F
pero, inicialmente, no s mucho acerca de lo que F
es. Slo podra saber que F es una propiedad abstracta y que cuando los
programadores hablan de "la amistad", que probablemente estn tratando de transmitir
informacin sobre F
. Desde objetivo final de la IA es crear una instancia
instrumental es aprender ms sobre lo que F
F,
Un
importante
valor
que los programadores dijeron que hacer, sino ms bien (algo as como) lo que estaban
tratando de decir que de hacer. Mientras que los programadores estn tratando de
explicar a la semilla AI lo amabilidad es, podran cometer errores en sus explicaciones. Por
otra parte, los propios programadores no pueden comprender plenamente la verdadera
naturaleza de la amistad. Por lo tanto, sera deseable que la AI para tener la capacidad de
corregir errores en el pensamiento de los programadores, y para inferir la verdad o la
intencin significado de cualquier explicaciones imperfectos los programadores logran
proporcionar. Por ejemplo, el AI debe ser capaz de representar los procesos causales por lo
que los programadores aprenden y se comunican sobre la amistad. Por lo tanto, para
recoger un ejemplo trivial, la AI debe entender que hay una posibilidad de que un
programador podra hacer un error tipogrfico mientras ingresa informacin acerca de la
amistad, y la IA debe entonces tratar de corregir el error. En trminos ms generales, la AI
debe tratar de corregir lo que sea influencias de distorsin pueden haber corrompido el
flujo de informacin sobre la amistad, ya que pas de su fuente a travs de los
programadores a la IA (donde "distorsionador" es una categora epistmica). Lo ideal es
que madure la IA, debe superar los sesgos cognitivos y otros conceptos errneos ms
fundamentales que pueden haber impedido sus programadores de comprender
plenamente lo que es la amistad. Recuadro 12 Dos recientes (medio-horneados) Ideas
Lo que podramos llamar el enfoque de "Ave Mara" se basa en la esperanza de
que en otros lugares en el universo existen (o llegar a existir) civilizaciones que gestionan
con xito la explosin de inteligencia, y que terminan con los valores que se superponen
de manera significativa con nuestra propia . Podramos entonces tratar de construir
nuestra AI para que sea motivado para hacer lo que estos otros superinteligencias quieren
que haga.
22
La ventaja es que esto podra ser ms fcil que construir nuestra AI estar motivado
para hacer lo que queramos directamente.
Para este esquema funcione es
no
necesario que nuestra IA puede establecer comunicacin con cualquier
superinteligencia aliengena. Por el contrario, las acciones de nuestro AI se guan por
sus estimaciones
de lo que los superinteligencias aliengenas quieren que haga.
Nuestra AI sera modelar los posibles resultados de las explosiones de inteligencia en otros
lugares, y a medida que se superinteligente s sus estimaciones debe ser cada vez ms
precisos. No se requiere conocimiento perfecto. Puede haber una serie de resultados
plausibles de explosiones de inteligencia, y nuestra AI sera entonces todo lo posible para
dar cabida a las preferencias de los distintos tipos de superinteligencia que pudi eran
surgir, ponderados por la probabilidad.
Esta versin del enfoque Ave Mara requiere que construimos un valor final para
nuestra IA que se refiere a las preferencias de otros superinteligencias. Exactamente cmo
hacer esto an no est clara. Sin embargo, los agentes superinteligentes podran ser
estructuralmente lo suficientemente distintivo que podramos escribir una pieza de cdigo
que funcionara como un detector que se vera en el modelo mundial en nuestro AI
desarrollar y designar los elementos de representacin que corresponden a la presencia
de una superinteligencia. El detector de entonces, de alguna manera, extraer las
preferencias de la superinteligencia en cuestin (como se representa dentro de nuestra
propia AI).
23
Si pudiramos crear un detector de este tipo, podramos utilizarlo para definir los
valores finales de nuestro AI. Uno de los retos es que podemos necesitar para crear el
detector antes de que sepamos qu marco representacional desarrollar nuestra AI. El
detector puede as tenga que consultar un marco de representacin desconocida y extraer
las preferencias de cualquier superinteligencia podrn estar representados en el mismo.
Esto parece difcil, pero tal vez alguna solucin ingeniosa puede ser found.24
Si la configuracin bsica podra llegar a funcionar, varias mejoras se sugieren
inmediatamente. Por ejemplo, en lugar de con el objetivo de seguir (algunos composicin
ponderada de) las preferencias de
cada superinteligencia extranjero, valor final de nuestra AI podra incorporar un filtro
para seleccionar un subconjunto de superinteligencias aliengenas de obediencia (con el
objetivo de seleccionar aquellos cuyos valores estn ms cerca de la nuestra). Por
ejemplo, podramos utilizar criterios relativos al origen causal de una superinteligencia
para determinar si se debe incluir en el conjunto de reverencia. Ciertas propiedades de su
origen (que podramos ser capaces de definir en trminos estructurales) pueden
correlacionarse con el grado en que se poda esperar la superinteligencia resultante para
compartir nuestros valores. Tal vez queremos poner ms confianza en superinteligencias
cuya causal orgenes remontan a una emulacin de todo el cerebro, oa una semilla AI que
no hacen un uso intensivo de los algoritmos evolutivos o que emergi lentamente de una
forma sugerente de un despegue controlado. (Tomando orgenes causales en cuenta
tambin dejara a evitar el exceso de ponderacin superinteligencias que crean mltiples
copias de s mismos -en realidad se deja a evitar la creacin de un incentivo para que lo
hagan.) Muchos otros refinamientos tambin seran posibles. El enfoque Ave Mara
requiere fe que hay otros por ah que superinteligencias suficientemente comparten
nuestros valores.
25
Esto hace que el planteamiento no ideal. Sin embargo, los obstculos tcnicos que
enfrenta el enfoque Ave Mara, aunque muy importante, posiblemente, podra ser menos
formidables que los que enfrentan los enfoques alternativos. Explorando enfoques
implementables no ideales, pero ms fcilmente puede tener sentido, no con la intencin
de utilizarlos, pero tener algo que echar mano en caso de una solucin ideal no debe estar
listo a tiempo.
Otra idea para la forma de resolver el problema de valor de carga se ha propuesto
implica.
tomar algn camino alternativo que no requiere el uso extensivo de sujetos humano s de
investigacin digitales en una situacin de alto riesgo de manera estratgica.
La cuestin, sin embargo, no es claro. Se podra argumentar que la investigacin de
emulacin de todo el cerebro es menos que pueda suponer violacines morales que la
investigacin de la inteligencia artificial, sobre la base de que somos ms propensos a
reconocer cuando una mente emulacin califica para el estatus moral que hemos de
reconocer cuando una mente completamente ajeno o sinttico lo hace. Si ciertos tipos de
inhibidores de la aromatasa, o sus subprocesos, tienen un estatus moral significativo que
no somos capaces de reconocer, las violacines morales consiguientes podran ser
extensa. Consideremos, por ejemplo, el feliz abandono con el que los programadores
contemporneos crean agentes de refuerzo del aprendizaje y someterlas a estmulos
aversivos. Tales agentes Innumerables son creados todos los das, no slo en los
laboratorios de informtica pero en muchas aplicaciones, incluyendo algunos juegos de
computadora que contienen caracteres sofisticados no jugadores. Presumiblemente,
estos agentes son todava demasiado primitivo para tener alguna condicin moral. Pero la
confianza que podemos realmente ser que esto es as? Ms importante an, la confianza
que podemos estar de que vamos a saber parar a tiempo, antes de que nuestros
programas sean capaces de experimentar sufrimiento moralmente relevante?
(Volveremos en el captulo 14 de algunas de las cuestiones estratgicas ms
amplias que surgen cuando se compara la conveniencia de emulacin y caminos de
inteligencia artificial.)
Diseo Institucin
Algunos sistemas inteligentes consisten en piezas inteligentes que son a su vez capaz de
agencia. Las empresas y los estados ejemplifican esto en el mundo humano: mientras que
en gran parte compuesta de seres humanos que pueden, para algunos propsitos, ser
visto como agentes autnomos en su propio derecho. Las motivaciones de estos sistemas
compuestos no slo dependen de las motivaciones de sus subagentes constituyentes, sino
tambin en cmo se organizan los subagentes. Por ejemplo, un grupo que se organiza
bajo una fuerte dictadura podra comportarse como si tuviera una voluntad que era
idntica a la voluntad del subagente que ocupa el papel del dictador, mientras que un
grupo democrtico a veces podra comportarse ms como si tuviera una voluntad que era
un compuesto o promedio de las voluntades de sus diversos componentes. Pero tambin
se puede imaginar las instituciones de gobierno que haran que una organizacin se
comportan de una manera que no es una simple funcin de las voluntades de sus
subagentes. (En teora, al menos, podra existir un estado totalitario que todo el mundo
odiado, porque el Estado tena mecanismos para prevenir a sus ciudadanos de la
coordinacin de una revuelta. Cada ciudadano poda estar peor por repugnante solo que al
jugar su parte en la maquinaria del Estado.)
Mediante el diseo de instituciones adecuadas para un sistema compuesto, por lo tanto
instrucciones que los elige superiores a transmiten. Imagina que los supervisores tienen
un panel de botones que pueden pulsar en cualquier momento para causar un
subordinado a ser castigado o recompensado, hizo una pausa, eliminar o revertir a un
estado anterior. Estas capacidades aumentaran considerablemente los poderes de un
agente de supervisin, ms all de lo que ha sido posible histricamente en incluso el ms
totalitario de las organizaciones.
Incluso esto no agota los posibles instrumentos de
control. Los supervisores tambin pueden tener a su disposicin realistas simulaciones de
realidad virtual que pueden utilizar para sondear las reacciones subordinados a los
escenarios hipotticos (tales como ofertas simuladas para unirse a una conspiracin o de
holgura cuando piensan nadie est mirando). Los supervisores pueden, adems, tener la
capacidad de espiar a los monlogos internos en la mente de los subordinados y manipular
directamente a sus estados emocionales.
El resultado es una serie de ventajas enormes para el supervisor. 32
Cada supervisor sera un subordinado a otro, supervisor de nivel superior, que
supervisara su cada movimiento y asegrese l no aflojar en la ejecucin de sus
funciones de gestin. Con este tipo de acuerdo, podra ser posible que la estructura sea
estable incluso si cada nivel de supervisin es intelectualmente algo ms dbil que el nivel
que supervises.33 Y toda la estructura, lo que podra incluir muchos agentes altamente
superinteligentes, puede ser controlado por un pequeo nmero de seres humanos con
access.34 raz
El costo de una estructura de control interno sera significativa, pero no necesariamente
prohibitivo. Por ejemplo, en el modelo en el que cada nivel de supervisin tiene la mitad
de los nmeros de la capa de abajo, la sobrecarga computacional adicional est limitada
en un mero 100% de lo que la parte proletaria de los costos-less del sistema si las capas
jefe dumber requiere menos clculos por subagente. Supervisin podra ser apretado por
el aumento de la proporcin, o coste rebajado por la disminucin de la misma. El coste
computacional extra podra ser un factor importante en un escenario de mercado
competitivo (vase el captulo 11), pero parece asequible en el contexto de un proyecto
que no se enfrenta a una fuerte competencia inmediata. Tambin habra un costo en
trminos de tiempo de desarrollo necesario para crear y probar estas funciones d e
supervisin. Un proyecto bien los recursos necesarios podra reducir este costo momento
paralelizacin el desarrollo de la estructura de control con el desarrollo de la inteligencia
de las mquinas; pero la carga de trabajo adicional podra ser prohibiti vo para los
proyectos ms pequeos y para los proyectos atrapados en una estrecha tecnologa de
carrera.
Otro tipo de costo tambin merece consideracin: el riesgo de que los
crmenes de la mente que se cometen en este tipo de estructura.35
Como se ha descrito, la institucin suena como un campo de trabajo de Corea del Norte
en lugar horrible. Sin embargo, hay maneras de al menos mitigar los problemas morales
con el funcionamiento de este tipo de instituciones, incluso si los subagentes contenidas
en la institucin son emulaciones con estatus moral humana completa. Como mnimo, el
las instituciones de agentes artificiales. Adems, los agentes artificial es podran ser
capaces de hacer grandes saltos en el rendimiento cognitivo como resultado de
aparentemente pequeos cambios en sus algoritmos o arquitectura. Optimizando
despiadadamente agentes artificiales podra estar dispuesto a tomar apuestas extremas
de las que los seres humanos se reducira. 38
Y agentes superinteligentes podran mostrar una capacidad sorprendente para coordinar
con poca o ninguna comunicacin (por ejemplo, mediante el modelado internamente de
cada otras respuestas hipotticas para diversas contingencias). Estas y otras diferencias
podran hacer fracaso institucional sbita es ms probable, incluso en los dientes de lo
que parecen ser los mtodos vestidos-Kevlar de control social. No est claro, por lo
tanto, lo prometedor del enfoque de diseo institucin es, y si se tiene una mayor
posibilidad de trabajar con antropomrfico que con agentes artificiales. Se podra pensar
que la creacin de una institucin con controles y equilibrios apropiados slo podra
aumentar la seguridad o, en todo caso, no reduce la seguridad, de modo que a partir de
una perspectiva de la mitigacin del riesgo siempre sera mejor si se utilizara el mtodo.
Pero incluso esto no se puede decir con certeza. El enfoque aade piezas y complejidad, y
por lo tanto tambin pueden introducir nuevas formas para que las cosas salgan mal que
no existe en el caso de un agente que no tiene subagentes inteligentes como partes. Sin
embargo, el diseo institucin es digna de mayor exploracin.39
Sinopsis
Ingeniera de sistemas Meta an no es una disciplina establecida. No se sabe actualmente
cmo transferir los valores humanos a un ordenador digital, incluso teniendo en cuenta la
inteligencia artificial a nivel humano. Tras investigar una serie de enfoques, encontramos
que algunos de ellos parecen ser callejones sin salida; pero otros parecen prometedores y
merecen ser exploradas ms. Un resumen se presenta en la Tabla 12.
Cuadro 12
Representacin explcita Puede ser prometedora como una forma de cargar los
valores domesticidad. No parece prometedor como una manera de cargar valores ms
complejos.
Seleccin Evolutiva
Menos prometedor. Bsqueda de gran alcance puede encontrar un diseo que
satisfaga los criterios de bsqueda formales pero no nuestras intenciones. Adems, si los
diseos son evaluados mediante la ejecucin de ellos, incluyendo diseos que ni siquiera
cumplen con los criterios formales -un se crea potencialmente grave peligro adicional.
Evolucin tambin hace que sea difcil evitar la delincuencia mente masiva, sobre todo si
se tiene el objetivo de modelar las mentes de apariencia humana.
Aprendizaje por refuerzo
Una gama de diferentes mtodos se puede utilizar para resolver "problemas de
refuerzo del aprendizaje", pero por lo general implica la creacin de un sistema que busca
maximizar una seal de recompensa. Esto tiene una tendencia inherente a producir el
modo de fallo wireheading cuando el sistema se vuelve ms inteligente. Por lo tanto, e l
aprendizaje de refuerzo se ve poco prometedor.
Valor de acrecin Nosotros los humanos adquirimos gran parte de nuestro
contenido objetivo especfico de nuestras reacciones a la experiencia. Mientras que el
valor de acrecin podra, en principio, ser utilizado para crear un agente con las
motivaciones humanas, las disposiciones de valor acrecin humanos pueden ser
complejas y difciles de replicar en una semilla AI. Una mala aproximacin puede producir
una IA que generaliza de manera diferente que los humanos y por lo tanto adquiere
objetivos finales no deseados. Se necesita ms investigacin para determinar lo difcil que
sera hacer el trabajo el valor de acrecin con suficiente precisin.
Andamios de motivacin
Es demasiado pronto para decir lo difcil que sera para fomentar un sistema para
desarrollar representaciones de alto nivel internos que sean transparentes para los seres
humanos (manteniendo las capacidades del sistema por debajo del nivel peligroso) y luego
utilizar esas representaciones para disear un nuevo sistema de meta . El enfoque podra
mantener una promesa considerable. (Sin embargo, como con cualquier mtodo no
probado que aplazar gran parte de la fuerza de trabajo en ingeniera de seguridad hasta el
desarrollo del nivel de AI humana, se debe tener cuidado de no permitir que se convierta
en una excusa para una actitud displicente al problema de control en el provisional.)
Aprendizaje Valor
Un enfoque potencialmente prometedor, pero se necesita ms
investigacin para determinar lo difcil que sera para especificar formalmente una
referencia que seala con xito a la informacin externa relevante sobre el valor humano
(y de lo difcil que sera para especificar un criterio de correccin para una funcin de
utilidad en trminos de dicha referencia). Tambin vale la pena explorar dentro de la
categora de aprendizaje valor son las propuestas del tipo Ave Mara o en la lnea de
construccin de Pablo Christiano (u otros accesos directos).
Modulacin de Emulacin
Si se logra la inteligencia de la mquina a travs de la va de la emulacin, es
probable que sea posible ajustar motivaciones a travs del equivalente digital de drogas o
por otros medios. Ya sea que esto permitira a los valores para ser cargado con la
suficiente precisin para garantizar la seguridad incluso cuando la emulacin se ha
elevado a superinteligencia es una pregunta abierta. (Limitaciones ticas podran
complicar tambin la evolucin en esta direccin.)
Diseo Institucin
Varios fuertes mtodos de control social podran aplicarse en una institucin
compuesta de emulaciones. En principio, los mtodos de control social tambin podran
aplicarse en una institucin compuesta por inteligencias artificiales. Emulaciones tienen
algunas propiedades que hacen que sean ms fciles de controlar a travs de estos
mtodos, sino tambin algunas propiedades que podran hacer que sea ms difcil de
controlar que los IA. Diseo Institucin parece digna de mayor exploracin como un
potencial tcnica del valor de carga. Si supiramos cmo resolver el problema del valor de
carga, estaramos frente a un nuevo problema: el problema de decidir qu valores para
cargar. Lo que, en otras palabras, qu queremos una superinteligencia que quiere? Este es
el problema ms filosfico al que nos dirigimos al lado.
CAPTULO 13La eleccin de los criterios para la eleccin
Supongamos que pudiramos instalar ningn valor final arbitraria en una semilla
AI. La decisin en cuanto a qu valor instalar entonces podra tener las consecuen cias ms
trascendentales. Algunas otras opciones-referentes de parmetros bsicos de los axiomas
de la teora de la decisin de la AI y la epistemologa-podran ser igualmente
consecuentes. Pero tontos, ignorantes y de mente estrecha que somos, cmo podemos
ser de confianza para tomar buenas decisiones de diseo? Cmo podramos elegir sin
bloquear en mucho los prejuicios y las ideas preconcebidas de la generacin actual? En
este captulo, exploramos cmo indirecta normatividad puede dejarnos descargamos gran
parte del trabajo cognitivo implicado en la toma de estas decisiones sobre la propia
superinteligencia tiempo que anclar el resultado en los valores humanos ms profundos.
La necesidad de normatividad indirecta
Cmo podemos conseguir una superinteligencia hacer lo que queremos? Qu queremos
que la superinteligencia que queremos? Hasta este punto, nos hemos centrado en la
pregunta anterior. Pasamos ahora a la segunda pregunta. Supongamos que habamos
resuelto el problema de control de manera que hemos sido capaces de cargar cualquier
valor que elegimos en el sistema de motivacin de un superinteligencia, por lo que es
perseguir ese valor como su meta final. Qu valor debemos instalar? La eleccin no es
cosa de la luz. Si la superinteligencia obtiene una ventaja estratgica decisiva, el valor
sera determinar la disposicin de la dotacin csmica. Claramente, es esencial que no nos
equivocamos en nuestra seleccin de valor. Pero cmo podramos realista esperar
alcanzar errorlessness en cuestin como esta? Podramos estar equivocado acerca de la
moralidad; mal tambin sobre lo que es bueno para nosotros; mal, incluso sobre lo que
realmente queremos. Especificacin de un objetivo final, al parecer, requiere abrirse
si hubiramos hecho nuestro aprendizaje, nuestro potenciador cognitivo, y nuestra automejora en las condiciones de interaccin social adecuada entre s .
"Cuando la extrapolacin converge en lugar de diverge" puede entenderse de la
siguiente manera. La IA debe actuar sobre alguna caracterstica del resultado de su
extrapolacin slo en la medida que la funcin se puede predecir por la AI con un grado
bastante alto de confianza. En la medida en que la IA no puede predecir lo que
desearamos si fueron idealizadas de la manera indicada, la IA no debe actuar sobre una
conjetura salvaje; en cambio, debe abstenerse de actuar. Sin embargo, a pesar de que
muchos detalles de nuestra idealizada deseen pueden indeterminado o impredecible,
puede, no obstante haber alguna grandes rasgos que la IA puede aprehender, y puede por
lo menos actuar para garantizar que el curso futuro de los acontecimientos se desarrolla
dentro de los contornos. Por ejemplo, si la IA puede estimar con fiabilidad que nuestra
estos asuntos, la IA se guiar por sus estimaciones iniciales de nuestra CEV; de modo que,
por ejemplo, la IA no sera correr innecesariamente innumerables simulaciones repletos de
sufrimiento humano irredento si estima que nuestro CEV probablemente conde nar
simulaciones tales como la delincuencia mente.
Otra objecin es que hay muchas maneras diferentes de la vida y de los cdigos morales
en el mundo que podra no ser posible "mezclar" en una sola CEV. Incluso si se pudiera
mezclar ellos, el resultado podra no ser particularmente apetecible uno sera poco
probable conseguir una deliciosa comida mezclando todos los mejores sabores de
diferentes plato favorito de todos. 13
En respuesta a esto, se podra sealar que el enfoque de la CEV no requiere que todas las
formas de vida, los cdigos morales o valores personales pueden mezclar juntos en un
guiso. La dinmica de la CEV se supone que acta slo cuando nuestros deseos
coherentes. En cuestiones en las que existe un desacuerdo irreconciliable generalizad a,
incluso despus de que se han impuesto las diversas condiciones idealizadoras, la
dinmica debera abstenerse de determinar el resultado. Para continuar con la analoga de
cocina, podra ser que las personas o culturas tienen diferentes platos favoritos, pero que,
sin embargo, en trminos generales se ponen de acuerdo que aliments deben ser no
txicos. La dinmica CEV podra entonces actuar para prevenir la intoxicacin alimentaria,
mientras que permiten de otra manera los seres humanos para resolver sus prcticas
culinarias sin su orientacin o interferencia. Justificaciones para CEV
El artculo de Yudkowsky ofreci siete argumentos para el enfoque de la CEV. Tres de ellos
eran bsicamente diferentes maneras de hacer el punto de que mientras que el o bjetivo
debe ser hacer algo que es humano y til, sera muy difcil establecer un conjunto explcito
de reglas que no tienen interpretaciones no deseadas y las consecuencias indeseables.
14
El enfoque CEV est destinado a ser robusto y auto-correccin; que est destinado a
capturar el fuente de nuestros valores en lugar de confiar en nosotros correctamente
enumerar y articular, de una vez por todas, cada uno de nuestros valores esenciales.
Los cuatro restantes argumentos van ms all de ese primer punto bsico (pero
importante), explicando desiderata de soluciones candidatas al problema de valor de
especificacin y sugiriendo que CEV cumple estos desiderata.
"Encapsular crecimiento moral"
Este es el desidertum que la solucin debe permitir la posibilidad del progreso moral.
Como se sugiri anteriormente, hay razones para creer que nuestras creencias morales
actuales estn viciadas de muchas maneras; quiz profundamente viciado. Si tuviramos
que estipular un cdigo moral especfico e inalterable de la IA a seguir, que recibira el
mismo bloqueo en nuestras actuales convicciones morales, incluyendo sus errores,
noveno grado, o permitir chicas suecas a ser educados, pero las nias afganas no. Sin
embargo, tanto los talibanes y el Humanista podran ser capaces de respaldar el principio
de que el futuro debe ser determinado por el CEV de la humanidad. Los talibanes podra
razonar que si sus puntos de vista religiosos son de hecho correcta (ya que est
convencido de que son) y si existen buenas razones para aceptar estos puntos de vista (ya
que tambin est convencido), entonces la humanidad habra al final vienen a aceptar
estos puntos de vista, si slo la gente estaba menos prejuicios y sesgada, si pasaban ms
tiempo estudiando las escrituras, si pudieran comprender ms claramente cmo funciona
el mundo y reconocer las prioridades esenciales, si pudieran ser liberados de rebelda
irracional y la cobarda, y as sucesivamente.15
El Humanista, del mismo modo, creera que en estas condiciones idealizadas, la
humanidad habra llegado a abrazar los principios que propugna. "Mantenga
la
humanidad en ltima instancia a cargo de su propio destino"
Puede que no quiera un resultado en el que una superinteligencia paternalista nos vigila
constantemente, la microgestin de nuestros asuntos con un ojo hacia la optimizacin de
cada detalle de acuerdo con un gran plan. Incluso si estipulamos que la superinteligencia
sera perfectamente benevolente, y libre de presuncin, arrogancia, prepotencia, la
estrechez de miras, y otras deficiencias humanos, todava se podra resentir la prdida de
autonoma que conlleva tal arreglo. Podramos preferiria crear nuestro destino a medida
que avanzamos, incluso si esto significa que a veces baln suelto. Tal vez queremos que la
superinteligencia para servir como una red de seguridad, para que nos apoyen cuando las
cosas van catastrficamente mal, pero por lo dems que nos dejan para ganarnos la vida.
CEV permite esta posibilidad. CEV est destinado a ser un "inicial dinmico", un proceso
que se ejecuta una vez y luego se reemplaza con lo que la voluntad extrapolado desea. Si
la volicin extrapolado de la humanidad desea que vivimos bajo la supervisin de un AI
paternalista, entonces la dinmica CEV creara una IA tales y entregarlo las riendas. Si la
volicin extrapolado de la humanidad en vez desea que se cree un gobierno mundial
democrtico humana, entonces la dinmica CEV podra facilitar el establecimiento de una
institucin y de otra manera siendo invisible. Si la volicin extrapolado de la humanidad es
en cambio que cada persona debe recibir una dotacin de recursos que puede usar lo que
le plazca siempre y cuando se respete la igualdad de derechos de los dems, entonces la
dinmica CEV podra hacer que este se haga realidad al operar en el fondo muy similar a
un ley de la naturaleza, para evitar la entrada ilegal, robo, asalto y otros Tropezaciones no
consensuados.16 La estructura del enfoque CEV por lo tanto permite una gama
prcticamente ilimitada de los resultados. Tambin es concebible que la volicin
extrapolado de la humanidad deseara que el CEV no hace nada en absoluto. En ese caso,
la AI debe implementar CEV, al haber establecido con la suficiente probabilidad de que
esto es lo que la volicin extrapolado de la humanidad deseara que hacer, con seguridad
apagar.
Otras observaciones
La propuesta de la CEV, como se indic anteriormente, es por supuesto el ms
mnimo esquemtica. Tiene un nmero de parmetros libres que podra especificarse en
varias formas, produciendo diferentes versiones de la propuesta.
Un parmetro es la base de la extrapolacin: De quin voliciones se incluirn?
Podramos decir "todo el mundo", pero esta respuesta engendra una serie de preguntas
adicionales. La base de extrapolacin incluye las llamadas "personas marginales" como
embriones, fetos, personas con muerte cerebral, los pacientes con demencias graves o
que se encuentran en estados vegetativos permanentes? Tiene cada uno de los
hemisferios de un "cerebro dividido" paciente obtener su propio peso en la extrapolacin
y este peso es el mismo que el de todo el cerebro de un sujeto normal? Qu pasa con las
personas que vivieron en el pasado pero ahora estn muertos? Las personas que nacern
en el futuro? Los animales superiores y otras criaturas sintientes? Mentes digitales?
Extraterrestres?
Una opcin sera incluir slo a la poblacin de los seres humanos adultos en la
Tierra que estn vivos en el inicio de la poca de la creacin de la IA. Una extrapolacin
inicial de esta base podra entonces decidir si y cmo la base debe ser ampliado. Dado que
el nmero de "marginales" en la periferia de esta base es relativamente pequea, el
resultado de la extrapolacin no puede depender mucho en exactamente donde el lmite
se dibuja-sobre si, por ejemplo, incluye fetos o no.
Ese alguien es excluido de la base original de la extrapolacin no implica que sus
deseos y el bienestar se tienen en cuenta. Si la voluntad coherente extrapolada de los que
estn en la base de la extrapolacin (por ejemplo, los seres humanos que viven adultos)
desea que la consideracin moral extenderse a otros seres, a continuacin, el resultado de
la dinmica CEV reflejara esa preferencia. Sin embargo, es posible que los intereses de los
que estn incluidos en la base de la extrapolacin originales se alojan en un grado mayor
que los intereses de los forasteros. En particular, si los actos dinmicos solamente donde
hay un amplio acuerdo entre voliciones extrapolados individuales (como en la propuesta
original de Yudkowsky), no parece ser un riesgo significativo de un voto de bloqueo poco
generoso que podra evitar, por ejemplo, el bienestar de los animales no humanos o
mentes digitales sean protegidos. El resultado podra ser potencialmente moralmente
podrido.17
Una de las motivaciones para la propuesta CEV era evitar la creacin de un motivo para
que los humanos se pelean por la creacin de la primera AI superinteligente. Aunque la
propuesta CEV mejores puntuaciones en este desidertum que muchas alternativas, no
elimina por completo los motivos de conflicto. Un egosta individuo, grupo o nacin
podran tratar de ampliar su rebanada del futuro, manteniendo a otros fuera de la base de
extrapolacin.
Una toma de poder de este tipo podra ser racionalizado de varias maneras. Se podra
argumentar, por ejemplo, que el patrocinador que financia el desarrollo de la IA merece
poseer el resultado. Esta afirmacin moral es probablemente falsa. Se podra objetar, por
ejemplo, que el proyecto que pone en marcha el primer xito de semilla AI impone una
gran externalidad de riesgos en el resto de la humanidad, que, por tanto, tiene derecho a
una indemnizacin. El monto de la indemnizacin adeudada es tan grande que slo puede
tomar la forma de dar a todos una participacin en la boca si las cosas salen bien.
18
Otro argumento que podra utilizarse para racionalizar la toma de poder es que
grandes segmentos de la humanidad tienen base o preferencias del mal y que su inclusin
en la base de la extrapolacin se arriesgaran a girar el futuro de la humanidad en una
distopa. Es difcil saber la cuota del bien y del mal en el corazn de la persona promedio.
Tambin es difcil saber cunto este equilibrio vara entre los diferentes grupos, estratos
sociales, culturas o naciones. Si uno es optimista o pesimista sobre la naturaleza humana,
se puede prefieren no apostar dotacin csmica de la humanidad en la especulacin de
que, para que una mayora suficiente de los siete mil millones de personas actualmente
vivas, sus mejores ngeles prevaleceran en sus voliciones extrapolados. Por supuesto, la
omisin de un determinado conjunto de personas de la base de la extrapolaci n no
garantiza que la luz triunfara; y bien podra ser que las almas que excluiran ms pronto
que otros o tomar el poder para s mismos tienden ms bien a contener cantidades
inusualmente grandes de oscuridad.
Sin embargo, otra razn para luchar por la dinmica inicial es que uno podra creer
que de otro AI no funciona como se anuncia, incluso si la IA es considerado como una
forma de poner en prctica CEV de la humanidad. Si los diferentes grupos tienen
diferentes creencias acerca de qu es ms probable que tenga xito la aplicacin, puede
ser que luchar para evitar que los otros de lanzamiento. Sera mejor en este tipo de
situaciones si los proyectos que compiten podran resolver sus diferencias epistmicas por
algn mtodo que determina de forma ms fiable que es correcto que el mtodo de los
conflictos armados.19 Modelos de moralidad
La propuesta CEV no es la nica forma posible de normatividad indirecta. Por
ejemplo, en lugar de aplicar la volicin extrapolado coherente de la humanidad, se podra
tratar de construir una IA con el objetivo de hacer lo que es moralmente correcto,
basndose en las capacidades cognitivas superiores de la AI de averiguar qu acciones se
ajusta a esa descripcin. Podemos llamar a esta propuesta "rectitud moral" (MR). La idea
es que los seres humanos tienen una comprensin imperfecta de lo que es correcto y lo
incorrecto, y tal vez una comprensin an ms pobre de cmo el concepto de rectitud
moral es a analizar filosficamente: pero una superinteligencia podan entender estas
cosas mejor.20
Y si no estamos seguros de si el realismo moral es cierto? Todava podramos
intentar la propuesta MR. Slo debemos tener para asegurarse de especificar lo que la AI
accidental. Sin embargo, podra ser una caracterstica que sera muy perjudicial para
nosotros.
26
Se podra tratar de preservar la idea bsica del modelo MR mientras que la reduccin de
su exigencia, centrndose en permisibilidad moral: La idea de que podramos dejar que la
AI perseguir CEV de la humanidad con tal de que no actu en formas que son moralmente
inaceptables. Por ejemplo, se podra formular la siguiente meta para el AI:
Entre las acciones que son moralmente permisible para la IA, tome uno que CEV de la
humanidad prefiere. Sin embargo, si alguna parte de esta instruccin no tiene sentido
bien especificado, o si estamos radicalmente confundido acerca de su significado, o si el
realismo moral es falsa, o si actuamos moralmente inadmisible en la creacin de una IA
con este objetivo, y luego someterse a una controlada Cerrar. 27
Siga el significado pretendido de esta instruccin.
Uno podra todava preocuparse de que este modelo permisibilidad moral (MP)
representa un unpalatably alto grado de respeto por las exigencias de la moral. Qu t an
grande sacrificio que implicara depende de que la teora tica es cierto.28
Si la tica es satisficing
, En el sentido de que cuenta como moralmente permisible cualquier accin que se ajusta
a unas pocas restricciones morales bsicos, entonces MP puede dejar un amplio espacio
para nuestra voluntad extrapolado coherente para influir en las acciones de la AI. Sin
embargo, si la tica es
maximizando-por ejemplo, si las acciones slo moralmente
admisible son los que tienen los mejores moralmente consecuencias, entonces MP puede
dejar poco o ningn espacio para nuestras propias preferencias para dar forma al
resultado.
Para ilustrar esta preocupacin, volvamos por un momento al ejemplo de
consecuencialismo hedonista. Supongamos que esta teora tica es verdad, y que la IA
sabe que es as. A los presentes efectos, podemos definir consecuencialismo hedonista
como la afirmacin de que una accin es moralmente correcto (y moralmente permisible)
si y slo si, entre todas las acciones posibles, ninguna otra accin producira un mayor
equilibrio de placer sobre el sufrimiento. La IA, siguiendo MP, puede maximizar el exceso
de placer convirtiendo el universo accesible en hedonium, un proceso que puede implicar
la construccin computronium y utilizarlo para realizar clculos que ejemplifican
experiencias placenteras. Desde la simulacin de cualquier cerebro humano existente no
es la manera ms eficiente de producir placer, una consecuencia probable es que todos
morimos.
MR-con el consiguiente riesgo de que una superinteligencia implementar una dinmica tal
que matar a todos a su alcance. En segundo lugar, al igual que con todas las propuestas
formuladas en lenguaje tcnico, hay una posibilidad de que podramos haber entendido
mal el sentido de nuestras propias afirmaciones. Hemos visto que, en el caso de las metas
basadas en la moral, pidiendo a la AI para hacer lo que es correcto puede llevar a
consecuencias imprevistas e indeseadas de tal manera que, si hubiramos ellos previstos,
no hubiramos aplicado el objetivo en cuestin. Lo mismo se aplica a pedir a la AI para
hacer lo que tenemos ms razn para hacerlo.
Qu pasa si tratamos de evitar estas dificultades acostando un gol en un lenguaje
no tcnico enfticamente tales como en trminos de "amabilidad":
31
Tome la accin ms bonita; o, si ninguna accin es ms bonito, y luego tomar una accin
que es al menos agradable requete.
Cmo podra haber nada objetable sobre la construccin de un agradable
AI? Pero debemos preguntarnos lo que precisamente se quiere decir con esta expresin .
El lxico enumera diversos significados de "agradable" que claramente no estn
destinados a ser utilizados aqu: no tenemos la intencin de que la AI debe ser corts y
educado
ni
overdelicate o fastidioso. Si podemos contar con la AI reconoce la interpretacin
pretendida de "amabilidad" y estar motivados para perseguir la amabilidad en apenas ese
sentido, a continuacin, este objetivo parece equivaler a un comando para hacer lo que
significaba que los programadores de la IA para do.32 Un orden judicial para efecto similar
se incluy en la formulacin de la CEV ("... interpretado como deseamos que interpret") y
en el criterio moral-permisibilidad como haca antes ("... siga el significado pretendido de
esta instruccin"). Al colocar dicha clusula "Do What I Mean" podemos indicar que las
otras palabras en la descripcin meta se deben interpretar con caridad en lugar de la letra.
Pero decir que la IA debe ser "agradable", aade casi nada: el verdadero trabajo se hace
mediante la instruccin "Do What I Mean". Si supiramos cmo codificar "Do What I
Mean" de una manera general y de gran alcance, que bien podra usar eso como un
objetivo independiente.
Cmo puede uno poner en prctica un "hacer lo que quiero decir" tan dinmico? Es
decir, cmo podemos crear una IA motivados para interpretar caritativamente nuestros
deseos e intenciones tcitas y actuar en consecuencia? Un paso inicial podra ser para
tratar de obtener ms clara acerca de lo que entendemos por "Haz lo que digo." Podra
ayudar si pudiramos explicar esto en trminos ms conductistas, por ejemplo en
trminos de preferencias reveladas en diversas situaciones, tales como situaciones
hipotticas en el que tenamos ms tiempo para considerar las opciones, en las que
usar?
Ratificacin En caso de los planes de la AI ser sometidos a revisin humana antes
de ser puesto en prctica? Si es as, cul es el protocolo para ese proceso de revisin?
Contenido Meta Ya hemos hablado de cmo indirecta normatividad que podrn
utilizarse en la especificacin de los valores que la IA es perseguir. Discutimos algunas
opciones, como los modelos basados en la moral y la voluntad extrapolado coherente.
Cada uno de tales opcin crea opciones adicionales que necesitan ser hecho. Por ejemplo,
el enfoque de CEV viene en muchas variedades, dependiendo de quin est incluido en la
base de extrapolacin, la estructura de la extrapolacin, y as sucesivamente. Otras formas
de mtodos de seleccin de motivacin podran llamar para diferentes tipos de contenido
objetivo. Por ejemplo, un orculo podra ser construido para colocar un valor en dar
respuestas precisas. Un orculo construido con la motivacin domesticidad tambin
puede tener un contenido objetivo que disvalores el uso excesivo de los recursos en la
produccin de sus respuestas.
Otra opcin de diseo es si se debe incluir disposiciones especiales en el contenido
objetivo de premiar a las personas que contribuyen a la realizacin exitosa de la IA, por
ejemplo, dndoles recursos o influencia adicional sobre el comportamiento de la IA.
Podemos denominar dichas disposiciones "de envoltura de incentivos." Envoltura de
incentivos podra ser visto como una forma de aumentar la probabilidad de que el
proyecto tenga xito, a costa de comprometer en cierta medida el objetivo de que el
proyecto se propuso lograr.
Por ejemplo, si el objetivo del proyecto es crear una dinmica que implementa la
volicin extrapolado coherente de la humanidad, a continuacin, un esquema de envolver
incentivo podra especificar que voliciones ciertos individuos deben tener peso extra en la
extrapolacin. Si este proyecto tiene xito, el resultado no es necesariamente la aplicacin
de la volicin extrapolado coherente de la humanidad. En lugar de ello, algunos
aproximacin a esta meta se podra lograr.
34
Desde envoltura incentivo sera una pieza de contenido objetivo que se interpreta y
perseguido por una superinteligencia, podra tomar ventaja de la normatividad indirecta
para especificar disposiciones sutiles y complicadas que seran difciles para un mnager
humano para implementar. Por ejemplo, en lugar de programadores gratificantes segn
algunos crudo pero mtrica de fcil acceso, como el nmero de horas que trabajaban o
cuntos errores se corrigen, la envoltura de incentivos podran especificar que l os
programadores "deben ser recompensados en proporcin a cunto aumentaron sus
contribuciones algunos razonable ex ante
probabilidad de que el proyecto que se complet con xito en el camino a los
patrocinadores por objeto ". Adems, no habra ninguna razn para limitar la envoltura de
incentivos al personal del proyecto. En su lugar, podra especificar que cada
persona
debe ser recompensado segn su merecido. La asignacin de crditos es un problema
difcil, pero una superinteligencia se poda esperar para hacer un trabajo razonable de
aproximacin de los criterios especificados, explcita o implcitamente, por la envoltura de
incentivos.
Es concebible que la superinteligencia incluso podra encontrar alguna manera de
recompensar a las personas que han muerto antes de la creacin de la superinteligencia.
35 La envoltura incentivo podra luego ampliarse para abarcar al menos algunos de
los fallecidos, incluyendo potencialmente las personas que murieron antes de que el
proyecto fue concebido, o incluso anterior a la primera enunciacin del concepto de
embalaje de incentivos. Aunque la institucin de tal poltica no sera retroactiva incentivar
causalmente aquellas personas que ya estn descansando en sus tumbas como estas
palabras se estn poniendo a la pgina, podra ser favorecido por razones morales,
aunque se podra argumentar que la medida en que la equidad es un objetivo, debe ser
incluido como parte de la especificacin de destino adecuado en lugar de en la envoltura
incentivo circundante.
No podemos aqu ahondar en todas las cuestiones ticas y estratgicas relacionadas con el
embalaje de incentivos. La posicin de un proyecto sobre estos temas, sin embargo, sera
un aspecto importante de su concepto fundamental del diseo. Teora de la decisin
Otra opcin de diseo importante es que la decisin teora debe construir la IA de usar.
Esto puede afectar la manera en que la IA se comporta en ciertas situaciones
estratgicamente fatdicas. Podra determinar, por ejemplo, si la IA est abierto a negociar
con, o extorsin por, otras civilizaciones superinteligentes cuya existencia se plantea la
hiptesis. Los detalles de la teora de la decisin tambin podra importar en
predicamentos que implican probabilidades finitos de pagos infinitos ("apuest as
pascaliano") o extremadamente pequeas probabilidades de extremadamente grandes
beneficios finitos ("atracos pascaliano") o en contextos donde la IA se enfrenta a la
incertidumbre normativa fundamental o donde hay mltiples instancias del mismo
programa agente.
36
Las opciones sobre la mesa incluyen teora causal decisin (en una variedad de
sabores) y la teora de la decisin probatoria, junto con los candidatos ms recientes,
como "teora intemporal decisin" y "teora de la decisin updateless", qu e an estn en
desarrollo.37 Puede resultar difcil identificar y articular la teora de la decisin correcta, y
para tener confianza justificada de que hemos hecho bien. Aunque las perspectivas para
especificar directamente la teora de la decisin de una IA son quizs ms optimista que
los de especificar directamente sus valores finales, an estamos enfrentados a un riesgo
sustancial de error. Muchas de las complicaciones que podran romper las teoras de toma
actualmente ms populares fueron descubiertos recientemente, lo que sugiere que
podran existir ms problemas que an no han entrado en la vista. El resultado de dar la IA
una teora de la decisin errnea podra ser desastroso, posiblemente, que asciende a una
catstrofe existencial.
En vista de estas dificultades, se podra considerar un enfoque indirecto para
especificar la teora de la decisin de que la AI debe utilizar. Exactamente cmo hacer esto
an no est clara. Podramos querer la IA de usar "que la teora de la decisin
D
que hubiramos querido que utilizamos tena pensamos mucho sobre el asunto.
"Sin embargo, la AI tendra que ser capaz de tomar decisiones antes de aprender lo que
D
es. Sera por lo tanto necesita un poco de teora efectiva decisin provisional
D'
D'
D
(Pesaron por sus probabilidades), aunque hay problemas tcnicos no resueltos
con la forma de hacer esto en un way.38 totalmente generales Tambin es motivo de
preocupacin que la IA puede hacer irreversible malas decisiones (como la reescritura de
s para funcionar a partir de ahora en alguna defectuosa teora de la decisin) durante la
fase de aprendizaje, antes de que la AI ha tenido la oportunidad de determinar qu
determinada teora de la decisin es correcta. Para reducir el riesgo de descarrilamiento
durante este perodo de vulnerabilidad que en vez podramos tratar de dotar a la semilla
AI con alguna forma de racionalidad restringida: Una teora de la decisin
deliberadamente simplificada pero espero fiable que ignora incondicionalmente
consideraciones esotricas, aunque sean en ltima instancia, creemos que puede ser
legtimo, y que est diseado para sustituir en s con un ms sofisticado (especificado
indirectamente) la teora de la decisin una vez que ciertas condiciones se met.39 Es una
pregunta de investigacin abierta si y cmo esto podra llegar a funcionar. Epistemologa
Un proyecto tambin tendr que tomar una decisin fundamental de diseo en la
seleccin de la epistemologa de la IA, especificando los principios y criterios para que las
hiptesis empricas deben ser evaluados. Dentro de un marco bayesiano, podemos pensar
en la epistemologa como una probabilidad a priori funcin implcita la asignacin de
probabilidades a los mundos posibles de AI antes de que haya tomado ninguna evidencia
perceptual en cuenta. En otros marcos, la epistemologa podra tomar una forma
diferente; pero en cualquier caso es necesaria alguna regla de aprendizaje inductivo si la
IA es generalizar a partir de observaciones pasadas y hacer predicciones sobre el futuro.40
Al igual que con el contenido de meta y la teora de la decisin, sin embargo, hay un riesgo
de que nuestra especificacin epistemologa podra perder la marca.
Uno podra pensar que hay un lmite a cunto dao podra surgir de una
epistemologa especificado incorrectamente. Si la epistemologa es
demasiado
disfuncional, a continuacin, la IA no poda ser muy inteligente y no poda
plantear el tipo de riesgos que se analiza en este libro. Pero la preocupacin es que
podemos especificar una epistemologa que es suficientemente slida para que el AI
instrumentalmente efectiva en la mayora de situaciones, sin embargo, que tiene algn
defecto que lleva la IA extraviado en algn asunto de importancia crucial. Tal AI podra ser
similar a una persona perspicaz cuya cosmovisin se basa en un falso dogma, que se
celebr a con absoluta conviccin, que en consecuencia, "se inclina contra molinos de
viento" y lo da todo en la bsqueda de objetivos fantsticos o perjudiciales.
Ciertos tipos de sutil diferencia en de una IA antes de que podra llegar a hacer una
diferencia drstica de cmo se comporta. Por ejemplo, un AI se podra dar una antes que
asigna una probabilidad cero para el universo es infinito. No importa cunta evidencia
astronmica se devengan por el contrario, una IA sera obstinadamente rechazar tales
cualquier teora cosmolgica que implic un universo infinito; y podra tomar decisiones
insensatas como resultado. 41 O una IA se podra dar un prior que asigna una
probabilidad cero al universo no ser-Turing computables (esto es, de hecho, una
caracterstica comn de muchos de los priores discutidos en la literatura, incluyendo la
complejidad de Kolmogorov previa mencionada en el captulo 1), de nuevo con
consecuencias poco conocidos si el supuesto conocido incrustado como la "tesis de ChurchTuring" -Debera resultar ser falsa. Una IA tambin podra terminar con un previo que
hace fuertes compromisos metafsicos de uno u otro tipo, por ejemplo, descartar a priori la
posibilidad de que cualquier forma fuerte del dualismo mente-cuerpo puede ser verdadera
o la posibilidad de que hay hechos morales irreductibles . Si alguno de esos compromisos
se equivoca, la IA podra tratar de alcanzar sus objetivos finales de una manera que nos
gustara considerar como ejemplificaciones perversos. Sin embargo, no hay ninguna razn
obvia por una IA tal, a pesar de ser fundamentalmente errneo alrededor de una cuestin
importante, podra no ser lo suficientemente instrumentalmente efectiva para lograr una
ventaja estratgica decisiva. (Anthropics, el estudio de cmo hacer inferencias a partir de
la informacin indicial en presencia de efectos de seleccin de observacin, es otra rea en
la eleccin de los axiomas epistmicas podra resultar pivotal.42)
Podramos dudar razonablemente de nuestra capacidad para resolver todas las cuestiones
fundamentales de la epistemologa en el tiempo para la construccin de la primera semilla
AI. Podemos, por lo tanto, considerar la adopcin de un enfoque indirecto a especificar la
epistemologa de la IA. Esto elevara muchos de los mismos problemas que tomar un
enfoque indirecto para especificar su teora de la decisin. En el caso de la epistemologa,
sin embargo, puede haber una mayor esperanza de convergencia benigna, con cualquiera
de una amplia clase de epistemologas proporcionar un fundamento adecuado para la
segura y eficaz AI y en ltima instancia dando resultados doxsticos similares. La razn de
esto es que suficientemente abundantes pruebas y anlisis emprico tenderan a lavar las
diferencias moderadas en las expectativas anteriores.
43
Un buen objetivo sera dotar a la AI con los principios epistemolgicos
fundamentales que responden a las que rigen nuestro propio pensamiento. Cualquier AI
divergente de este ideal es una IA que bamos a juzgar a razonar incorrectamente si
aplicamos constantemente nuestros propios estndares. Por supuesto, esto slo se aplica
a nuestra
fundamental principios epistemolgicos. Principios fundamentales no deben ser creados
y revisados por la semilla AI en s, ya que desarrolla su comprensin del mundo de forma
continua. El punto de superinteligencia no es para complacer a preconcepciones humanas,
sino para hacer picadillo a nuestra ignorancia y la necedad. Ratificacin
El ltimo punto en nuestra lista de opciones de diseo es
ratificacin . En caso de los planes de la AI ser sometidos a revisin humana antes de
ser puesto en prctica? Para un orculo, esta pregunta se responde de manera implcita
en la afirmativa. El orculo da salida a la informacin; los colaboradores humanos eligen
cundo y cmo actuar sobre ella. Para genios, soberanos, y herramienta de IA, sin
embargo, la cuestin de si se debe utilizar algn tipo de ratificacin sigue abierto.
Para ilustrar cmo podra funcionar la ratificacin, considere una IA pretende
funcionar como CEV de una humanidad implementacin soberana. En lugar de poner en
marcha este AI directamente, imaginamos que primero construimos un orculo AI con el
nico propsito de responder a las preguntas acerca de lo que iba a hacer el soberano AI.
Como los captulos anteriores revelaron, existen riesgos en la creacin de un orculo
superinteligente (como los riesgos de la delincuencia mente o profusin de
infraestructura). Sin embargo, para efectos de este ejemplo supongamos que el orculo AI
ha sido implementado con xito en una manera que evita estos escollos. Tenemos as un
orculo AI que nos ofrece sus mejores conjeturas acerca de las consecuencias de la
ejecucin de alguna pieza de cdigo destinado a poner en prctica CEV de la humanidad.
El orculo puede no ser capaz de predecir en detalle lo que iba a pasar, pero sus
predicciones son susceptibles de ser mejor que la nuestra. (Si fuera imposible, incluso para
una superinteligencia predecir
cualquier cosa sobre el cdigo hara, estaramos locos para ejecutarlo.) As que el orculo
reflexiona por un tiempo y luego presenta su previsin. Para que la respuesta inteligible, el
orculo puede ofrecer al operador una gama de herramientas con las que explorar
diversas caractersticas de los resultados previstos. El orculo poda mostrar imgenes de
lo que el futuro parece y proporcionar estadsticas sobre el nmero de seres sintientes que
existirn en diferentes momentos, junto con la media, pico, y los niveles ms bajos de
bienestar. Podra ofrecer biografas ntimos de varios individuos seleccionados al azar
(personas quiz imaginarios seleccionados a ser probablemente representante). Podra
destacar aspectos del futuro que el operador no podra haber pensado en preguntar sobre
pero que se consideraban pertinentes una vez sealado.
Ser capaz de obtener una vista previa de los resultados de esta manera tiene
ventajas obvias. El trailer podra revelar las consecuencias de un error en el diseo de las
especificaciones o el cdigo fuente de un soberano planificada. Si la bola de cristal
muestra un futuro en ruinas, podramos desechar el cdigo de la AI soberana planificado y
probar otra cosa. Un caso fuerte podra ser que debemos familiarizarnos con las
ramificaciones concretas de una opcin antes de comprometerse con ella, especialmente
cuando todo el futuro de la raza est en la lnea. Lo que quizs es menos obvio es que la
ratificacin tambin tiene desventajas potencialmente significativas. La calidad de
conciliador CEV podra ser socavada si facciones opuestas, en lugar de someterse a
arbitraje de la sabidura superior en expectativa confiada de ser vindicado, podra ver de
antemano cul sera el veredicto. Un defensor del enfoque basado en la moralida d podra
preocuparse de que la resolucin del patrocinador se derrumbara si todos los sacrificios
requeridos por el moralmente ptima iban a ser revelada. Y todos podramos tener razn
para preferir un futuro que tiene algunas sorpresas, algunas disonanci as, algunos lo
salvaje, algunas oportunidades para la auto-superacin, un futuro cuyos contornos no se
adaptan demasiado ajustado para presentar ideas preconcebidas, pero ofrecen algunos
dan para el movimiento dramtico y el crecimiento no planificado . Podramos ser menos
propensos a tener una visin tan expansiva si pudiramos cereza recoger todos los
detalles del futuro, el envo de nuevo a la mesa de diseo de cualquier proyecto que no se
ajusta plenamente a nuestra fantasa en ese momento.
Por tanto, la cuestin de la ratificacin patrocinador es menos clara de lo que
inicialmente podra parecer. Sin embargo, a fin de cuentas, parece prudente tomar
ventaja de la oportunidad de previsualizacin, si esa funcionalidad est disponible. Pero
en lugar de dejar que el revisor afinar todos los aspectos de los resultados, podramos
darle un veto sencilla que podra ser ejercido slo unas pocas veces antes se abort el
proyecto entero.
44
derecha. Debemos simplemente no dar la AI una previa que es tan extrema como para
hacer que la IA incapaz de aprender verdades vitales incluso con el beneficio de la
experiencia abundante y analysis.45
En cuanto a la teora de la decisin, el riesgo de error irrecuperable parece ms
grande. Podramos todava esperamos especificar directamente una teora de la decisin
de que es lo suficientemente bueno. Un AI superinteligente podra cambiar a una nueva
teora de la decisin, en cualquier momento; Sin embargo, si se comienza con una teora
de la decisin suficientemente malo que no puede ver la razn para cambiar. Incluso si un
agente viene a ver los beneficios de tener una teora de la decisin diferente, la realizacin
podra llegar demasiado tarde. Por ejemplo, un agente diseado para rechazar el chantaje
podra gozar del beneficio de disuadir a los posibles extorsionistas. Por esta razn, los
agentes blackmailable haran bien en adoptar de forma proactiva una teora de la decisin
no explotable. Sin embargo, una vez que un agente blackmailable recibe la amenaza y lo
considera creble, el dao est hecho.
Dada una epistemologa adecuada y teora de la decisin, podramos tratar de
disear el sistema para implementar CEV o algn otro tipo de contenido objetivo
especificado indirectamente. Una vez ms hay esperanza de la convergencia: que las
diferentes formas de implementar una dinmica CEV-como conduciran al mismo resultado
utpico. A falta de dicha convergencia, todava puede esperar que muchos de los
diferentes resultados posibles son suficientes para contar con el xito como existencial
buena.
No es necesario para nosotros para crear un diseo altamente optimizado. Ms
bien, nuestra atencin debe centrarse en la creacin de un diseo altamente confiable,
que se puede confiar para mantener la cordura suficiente para reconocer sus propios
defectos. Un superinteligencia imperfecta, cuya fundamentos son slidos, sera
gradualmente repararse a s mismo; y habindolo hecho, sera ejercer tanto poder
optimizacin beneficioso sobre el mundo como si hubiera sido perfecto desde el principio.