Vernor Vinge

Departamento de Ciencias Matemáticas

Universidad Estatal de San Diego

(c) 1993 por Vernor Vinge

(Este artículo puede reproducirse con fines no comerciales si se copia en su totalidad,
incluido este aviso).

La versión original de este artículo se presentó en el Simposio VISION-21 patrocinado por el

Centro de Investigación Lewis de la NASA y el Instituto Aeroespacial de Ohio, el 30 y 31 de
marzo de 1993. Una versión ligeramente modificada apareció en la edición de invierno de
1993 de Whole Earth Review .

Resumen

Dentro de treinta años, tendremos los medios tecnológicos para crear una inteligencia
sobrehumana. Poco después, la era humana terminará.

¿Es evitable tal progreso? Si no hay que evitarlos, ¿pueden guiarse los acontecimientos para
que podamos sobrevivir? Estas preguntas son investigadas. Se presentan algunas respuestas
posibles (y algunos peligros adicionales).

¿Qué es La Singularidad?

La aceleración del progreso tecnológico ha sido la característica central de este

siglo. Argumento en este artículo que estamos al borde de un cambio comparable al
surgimiento de la vida humana en la Tierra. La causa precisa de este cambio es la inminente
creación por medio de la tecnología de entidades con una inteligencia superior a la
humana. Hay varios medios por los cuales la ciencia puede lograr este avance (y esta es otra
razón para tener confianza en que el evento ocurrirá):

 Puede haber computadoras desarrolladas que estén "despiertas" y sean

sobrehumanamente inteligentes. (Hasta la fecha, ha habido mucha controversia sobre
si podemos crear una equivalencia humana en una máquina. Pero si la respuesta es "sí,
podemos", entonces no hay duda de que se pueden construir seres más inteligentes
poco después).

 Las grandes redes informáticas (y sus usuarios asociados) pueden "despertar" como
una entidad sobrehumanamente inteligente.

 Las interfaces computadora/humano pueden volverse tan íntimas que los usuarios
pueden razonablemente ser considerados sobrehumanamente inteligentes.

 La ciencia biológica puede proporcionar medios para mejorar el intelecto humano

natural.

Las primeras tres posibilidades dependen en gran parte de las mejoras en el hardware de la
computadora. El progreso en el hardware de las computadoras ha seguido una curva
sorprendentemente constante en las últimas décadas [17]. Basado en gran parte en esta
tendencia, creo que la creación de una inteligencia superior a la humana ocurrirá durante los
próximos treinta años. (Charles Platt [20] ha señalado que los entusiastas de la IA han estado
haciendo afirmaciones como esta durante los últimos treinta años. Solo para no ser culpable
de una ambigüedad de tiempo relativo, permítanme ser más específico: me sorprendería si
esto evento ocurre antes de 2005 o después de 2030).

¿Cuáles son las consecuencias de este evento? Cuando una inteligencia superior a la humana
impulse el progreso, ese progreso será mucho más rápido. De hecho, no parece haber ninguna
razón por la cual el progreso en sí mismo no implique la creación de entidades aún más
inteligentes, en una escala de tiempo aún más corta. La mejor analogía que veo es con el
pasado evolutivo: los animales pueden adaptarse a los problemas y hacer inventos, pero a
menudo no más rápido que la selección natural puede hacer su trabajo: el mundo actúa como
su propio simulador en el caso de la selección natural. Los humanos tenemos la capacidad de
internalizar el mundo y realizar "qué pasaría si" en nuestras cabezas; podemos resolver
muchos problemas miles de veces más rápido que la selección natural. Ahora,

Desde el punto de vista humano, este cambio será tirar por la borda todas las reglas
anteriores, quizás en un abrir y cerrar de ojos, un desbocamiento exponencial más allá de
cualquier esperanza de control. Los desarrollos que antes se pensaba que solo podrían suceder
en "un millón de años" (si es que alguna vez suceden) probablemente sucederán en el próximo
siglo. (En [5], Greg Bear pinta un cuadro de los principales cambios que suceden en cuestión de
horas).

Creo que es justo llamar a este evento una singularidad ("la Singularidad" para los fines de este
artículo). Es un punto en el que nuestros viejos modelos deben ser descartados y reina una
nueva realidad. A medida que nos acerquemos a este punto, se perfilará cada vez más sobre
los asuntos humanos hasta que la noción se convierta en un lugar común. Sin embargo,
cuando finalmente suceda, aún puede ser una gran sorpresa y una gran incógnita. En la década
de 1950 fueron muy pocos los que lo vieron: Stan Ulam [28] parafraseó a John von Neumann
diciendo:

Una conversación se centró en el progreso cada vez más acelerado de la tecnología y los
cambios en el modo de vida humana, lo que da la apariencia de acercarse a una singularidad
esencial en la historia de la raza más allá de la cual los asuntos humanos, tal como los
conocemos, no podrían continuar.

Von Neumann incluso usa el término singularidad, aunque parece que está pensando en el
progreso normal, no en la creación de un intelecto sobrehumano. (Para mí, la sobrehumanidad
es la esencia de la Singularidad. Sin eso, obtendríamos un exceso de riquezas técnicas, nunca
absorbidas adecuadamente (ver [25]).)

En la década de 1960 se reconocieron algunas de las implicaciones de la inteligencia

sobrehumana. IJ Good escribió [11]:

Dejemos que una máquina ultrainteligente se defina como una máquina que puede superar
con creces todas las actividades intelectuales de cualquier hombre, por inteligente que
sea. Dado que el diseño de máquinas es una de estas actividades intelectuales, una máquina
ultrainteligente podría diseñar máquinas aún mejores; entonces incuestionablemente habría
una "explosión de inteligencia" y la inteligencia del hombre quedaría muy atrás. Por lo tanto, la
primera máquina ultrainteligente es el _último_ invento que el hombre necesita hacer,
siempre que la máquina sea lo suficientemente dócil para decirnos cómo mantenerla bajo
control. ... Es más probable que improbable que, dentro del siglo XX,
El bien ha captado la esencia de la fuga, pero no persigue sus consecuencias más
inquietantes. Cualquier máquina inteligente del tipo que él describe no sería la "herramienta"
de la humanidad, como tampoco lo son los humanos las herramientas de los conejos, los
petirrojos o los chimpancés.

Durante los años 60, 70 y 80, se extendió el reconocimiento del cataclismo [29] [1] [31]
[5]. Quizás fueron los escritores de ciencia ficción quienes sintieron el primer impacto
concreto. Después de todo, los escritores de ciencia ficción "duras" son los que tratan de
escribir historias específicas sobre todo lo que la tecnología puede hacer por nosotros. Cada
vez más, estos escritores sintieron un muro opaco a través del futuro. Una vez, pudieron poner
tales fantasías millones de años en el futuro [24]. Ahora vieron que sus extrapolaciones más
diligentes dieron como resultado lo incognoscible... pronto. Una vez, los imperios galácticos
podrían haber parecido un dominio poshumano. Ahora, lamentablemente, incluso los
interplanetarios lo son.

¿Qué pasa con los años 90, 2000 y 10, mientras nos deslizamos hacia el borde? ¿Cómo se
extenderá el enfoque de la Singularidad a través de la visión del mundo humano? Durante un
tiempo todavía, los críticos generales de la inteligencia de las máquinas tendrán buena
prensa. Después de todo, hasta que tengamos un hardware tan poderoso como el cerebro
humano, probablemente sea una tontería pensar que seremos capaces de crear una
inteligencia humana equivalente (o mayor). (Existe la posibilidad descabellada de que
podamos hacer un equivalente humano a partir de un hardware menos potente, si
estuviéramos dispuestos a renunciar a la velocidad, si estuviéramos dispuestos a conformarnos
con un ser artificial que fuera literalmente lento [30]. Pero es es mucho más probable que
diseñar el software sea un proceso complicado, involucrando muchos comienzos en falso y
experimentación. Si es así, entonces la llegada de máquinas autoconscientes no ocurrirá hasta
después del desarrollo de hardware que sea sustancialmente más poderoso que el equipo
natural de los humanos).

Pero a medida que pasa el tiempo, deberíamos ver más síntomas. El dilema que sienten los
escritores de ciencia ficción se percibirá en otros esfuerzos creativos. (He escuchado a
escritores de cómics reflexivos preocuparse por cómo tener efectos espectaculares cuando
todo lo visible puede ser producido por el lugar común tecnológico). Veremos que la
automatización reemplaza los trabajos de nivel cada vez más alto. Tenemos herramientas en
este momento (programas de matemáticas simbólicas, cad/cam) que nos liberan de la mayor
parte del trabajo pesado de bajo nivel. O dicho de otra manera: el trabajo que es
verdaderamente productivo es el dominio de una fracción cada vez más pequeña y más elitista
de la humanidad. En la llegada de la Singularidad, estamos viendo que las predicciones del
_verdadero_ desempleo tecnológico finalmente se hacen realidad.

Otro síntoma del progreso hacia la Singularidad: las propias ideas deberían extenderse cada
vez más rápido, e incluso las más radicales pronto se convertirán en lugares comunes. Cuando
comencé a escribir ciencia ficción a mediados de los años 60, parecía muy fácil encontrar ideas
que tardaron décadas en filtrarse en la conciencia cultural; ahora el plazo de entrega parece
más de dieciocho meses. (Por supuesto, esto podría ser solo porque estoy perdiendo la
imaginación a medida que envejezco, pero también veo el efecto en los demás). Al igual que el
choque en un flujo comprimible, la Singularidad se acerca a medida que aceleramos a través
de la velocidad crítica.
¿Y la llegada de la propia Singularidad? ¿Qué se puede decir de su apariencia real? Dado que
se trata de una fuga intelectual, probablemente ocurrirá más rápido que cualquier revolución
técnica vista hasta ahora. El evento precipitante probablemente será inesperado, tal vez
incluso para los investigadores involucrados. ("¡Pero todos nuestros modelos anteriores eran
catatónicos! Solo estábamos ajustando algunos parámetros..."). Si la red está lo
suficientemente extendida (en sistemas integrados ubicuos), puede parecer como si nuestros
artefactos en su conjunto se hubieran despertado repentinamente.

¿Y qué sucede un mes o dos (o un día o dos) después de eso? Solo tengo analogías para
señalar: El surgimiento de la humanidad. Estaremos en la era Post-Humana. Y a pesar de todo
mi optimismo tecnológico desenfrenado, a veces pienso que estaría más cómodo si estuviera
considerando estos eventos trascendentales de hace mil años... en lugar de veinte.

¿Se puede evitar la singularidad?

Bueno, tal vez no suceda en absoluto: A veces trato de imaginar los síntomas que debemos
esperar para ver si la Singularidad no se desarrolla. Están los argumentos ampliamente
respetados de Penrose [19] y Searle [22] contra la practicidad de la inteligencia de las
máquinas. En agosto de 1992, Thinking Machines Corporation realizó un taller para investigar
la pregunta "Cómo construiremos una máquina que piense" [27]. Como puede adivinar por el
título del taller, los participantes no apoyaron especialmente los argumentos en contra de la
inteligencia artificial. De hecho, hubo acuerdo general en que las mentes pueden existir en
sustratos no biológicos y que los algoritmos son de importancia central para la existencia de las
mentes. Sin embargo, hubo mucho debate sobre la potencia de hardware en bruto que está
presente en los cerebros orgánicos. Una minoría sintió que las computadoras más grandes de
1992 estaban dentro de los tres órdenes de magnitud del poder del cerebro humano. La
mayoría de los participantes estuvo de acuerdo con la estimación de Moravec [17] de que
estamos a diez o cuarenta años de la paridad del hardware. Y, sin embargo, hubo otra minoría
que señaló [7] [21] y conjeturó que la competencia computacional de las neuronas individuales
puede ser mucho mayor de lo que generalmente se cree. Si es así, el hardware de nuestra
computadora actual podría ser hasta _diez_ órdenes de magnitud menor que el equipo que
llevamos en la cabeza. Si esto es cierto (o, para el caso, si la crítica de Penrose o Searle es
válida), es posible que nunca veamos una Singularidad. En cambio, a principios de la década de
2000 encontraríamos que las curvas de rendimiento de nuestro hardware comenzaban a
estabilizarse, esto debido a nuestra incapacidad para automatizar el trabajo de diseño
necesario para admitir mejoras adicionales de hardware. Terminaríamos con un hardware
_muy_ potente, pero sin la capacidad de impulsarlo más. El procesamiento de señales digitales
comerciales podría ser increíble, dando una apariencia analógica incluso a las operaciones
digitales, pero nada "despertaría" nunca y nunca habría la fuga intelectual que es la esencia de
la Singularidad. Probablemente sería visto como una edad de oro... y también sería el fin del
progreso. Esto es muy parecido al futuro predicho por Gunther Stent. De hecho, en la página
137 de [25],

Pero si la Singularidad tecnológica puede suceder, sucederá. Incluso si todos los gobiernos del
mundo comprendieran la "amenaza" y tuvieran un miedo mortal a ella, el progreso hacia la
meta continuaría. En la ficción, ha habido historias de leyes aprobadas que prohíben la
construcción de "una máquina a semejanza de la mente humana" [13]. De hecho, la ventaja
competitiva (económica, militar, incluso artística) de cada avance en la automatización es tan
convincente que aprobar leyes o tener costumbres que prohíban tales cosas simplemente
asegura que alguien más las obtenga primero.
Eric Drexler [8] ha proporcionado ideas espectaculares sobre hasta dónde puede llegar la
mejora técnica. Está de acuerdo en que las inteligencias sobrehumanas estarán disponibles en
un futuro cercano, y que tales entidades representan una amenaza para el statu quo
humano. Pero Drexler argumenta que podemos confinar tales dispositivos transhumanos para
que sus resultados puedan examinarse y usarse de manera segura. Esta es la máquina
ultrainteligente de IJ Good, con una dosis de precaución. Argumento que el confinamiento es
intrínsecamente impráctico. Para el caso de confinamiento físico: imagínate encerrado en tu
casa con acceso limitado a los datos del exterior, de tus amos. Si esos maestros pensaran a un
ritmo, digamos, un millón de veces más lento que tú, hay pocas dudas de que durante un
período de años (su tiempo) podría encontrar "consejos útiles" que incidentalmente lo
liberarían. (Llamo a esta forma de superinteligencia de "pensamiento rápido"
"superhumanidad débil". Tal entidad "débilmente sobrehumana" probablemente se quemaría
en unas pocas semanas de tiempo exterior. "Superhumanidad fuerte" sería más que aumentar
la velocidad del reloj en un mente equivalente a la humana. Es difícil decir con precisión cómo
sería una "sobrehumanidad fuerte", pero la diferencia parece ser profunda. Imagine ejecutar
una mente de perro a una velocidad muy alta. ¿Se sumarían mil años de vida perruna a alguna
percepción humana? (Ahora bien, si la mente del perro se reconfigurara inteligentemente y
luego funcionara a alta velocidad, podríamos ver algo diferente...) Muchas especulaciones
acerca de la superinteligencia parecen estar basadas en el modelo débilmente
sobrehumano. Creo que nuestras mejores conjeturas sobre el mundo posterior a la
Singularidad se pueden obtener pensando en la naturaleza de la superhumanidad
fuerte. Volveré sobre este punto más adelante en el artículo).

Otro enfoque del confinamiento es construir _reglas_ en la mente de la entidad sobrehumana

creada (por ejemplo, las Leyes de Asimov [3]). Creo que cualquier regla lo suficientemente
estricta para ser efectiva también produciría un dispositivo cuya habilidad fuera claramente
inferior a las versiones sin restricciones (y por lo tanto la competencia humana favorecería el
desarrollo de esos modelos más peligrosos). Aún así, el sueño de Asimov es maravilloso:
imagina un esclavo dispuesto, que tiene 1000 veces tus capacidades en todos los
sentidos. Imagina una criatura que pudiera satisfacer todos tus deseos seguros (lo que sea que
eso signifique) y aún así tener el 99,9% de su tiempo libre para otras actividades. Habría un
nuevo universo que nunca entendimos realmente,

Si la Singularidad no puede ser prevenida o confinada, ¿qué tan mala podría ser la era Post-
Humana? Bueno... bastante mal. La extinción física de la raza humana es una posibilidad. (O
como dijo Eric Drexler sobre la nanotecnología: dado todo lo que esa tecnología puede hacer,
¡quizás los gobiernos simplemente decidan que ya no necesitan ciudadanos!). Sin embargo, la
extinción física puede no ser la posibilidad más aterradora. De nuevo, analogías: piensa en las
diferentes formas en que nos relacionamos con los animales. Algunos de los crudos abusos
físicos son inverosímiles, sin embargo... En un mundo poshumano todavía habría muchos
nichos donde la automatización humana equivalente sería deseable: sistemas integrados en
dispositivos autónomos, demonios conscientes de sí mismos en el funcionamiento inferior de
seres sintientes más grandes. (Una inteligencia fuertemente sobrehumana probablemente
sería una Sociedad de la Mente [16] con algunos componentes muy competentes). Algunos de
estos equivalentes humanos podrían usarse para nada más que el procesamiento de señales
digitales. Se parecerían más a las ballenas que a los humanos. Otros pueden ser muy parecidos
a los humanos, pero con una unilateralidad, una _dedicación_ que los pondría en un hospital
psiquiátrico en nuestra era. Aunque ninguna de estas criaturas podría ser humanos de carne y
hueso, podrían ser las cosas más cercanas en el nuevo entorno a lo que llamamos humanos
ahora. (IJ Good tenía algo que decir al respecto, aunque en esta fecha tardía el consejo puede
ser discutible: Good [12] propuso una "Meta-regla de oro", que podría parafrasearse como
"Trata a tus inferiores como te tratarían tus superiores". Es una idea maravillosa y paradójica (y
la mayoría de mis amigos no la creen) ya que la recompensa de la teoría de juegos es muy
difícil de articular. Sin embargo, si pudiéramos seguirlo, en cierto sentido eso podría decir algo
sobre la plausibilidad de tal bondad en este universo).

He argumentado anteriormente que no podemos prevenir la Singularidad, que su llegada es

una consecuencia inevitable de la competitividad natural de los humanos y las posibilidades
inherentes a la tecnología. Y sin embargo... nosotros somos los iniciadores. Incluso la
avalancha más grande es provocada por cosas pequeñas. Tenemos la libertad de establecer
condiciones iniciales, hacer que las cosas sucedan de formas que sean menos hostiles que
otras. Por supuesto (al igual que con las avalanchas iniciales), puede que no esté claro cuál es
realmente el empujón correcto:

Otros Caminos hacia la Singularidad: Amplificación de la Inteligencia_

Cuando las personas hablan de crear seres sobrehumanamente inteligentes, generalmente

están imaginando un proyecto de IA. Pero como señalé al principio de este artículo, hay otros
caminos hacia la superhumanidad. Las redes informáticas y las interfaces hombre-máquina
parecen más mundanas que la IA y, sin embargo, podrían conducir a la Singularidad. Llamo a
este enfoque contrastante Amplificación de Inteligencia (IA). IA es algo que procede de forma
muy natural, en la mayoría de los casos ni siquiera es reconocido por sus desarrolladores por lo
que es. Pero cada vez que se mejora nuestra capacidad para acceder a la información y
comunicarla a otros, en cierto sentido hemos logrado un aumento sobre la inteligencia
natural. Incluso ahora,

Y es muy probable que la IA sea un camino mucho más fácil para lograr la superhumanidad
que la IA pura. En los humanos, los problemas de desarrollo más difíciles ya han sido
resueltos. Construir desde dentro debería ser más fácil que descubrir primero lo que
realmente somos y luego construir máquinas que sean todo eso. Y hay al menos un
precedente conjetural para este enfoque. Cairns-Smith [6] ha especulado que la vida biológica
pudo haber comenzado como complemento de una vida aún más primitiva basada en el
crecimiento cristalino. Lynn Margulis (en [15] y en otros lugares) ha presentado fuertes
argumentos de que el mutualismo es una gran fuerza impulsora en la evolución.

Tenga en cuenta que no estoy proponiendo que la investigación de IA sea ignorada o menos
financiada. Lo que sucede con la IA a menudo tendrá aplicaciones en la IA y viceversa. Estoy
sugiriendo que reconozcamos que en la investigación de redes e interfaces hay algo tan
profundo (y potencialmente salvaje) como la Inteligencia Artificial. Con esa perspectiva,
podemos ver proyectos que no son tan directamente aplicables como el trabajo de diseño de
redes e interfaces convencionales, pero que sirven para avanzar hacia la Singularidad a lo largo
del camino de IA.

Aquí hay algunos proyectos posibles que cobran especial significado, dado el punto de vista de
IA:

 Automatización de equipos humano/computador: tome problemas que normalmente

se consideran para una solución puramente mecánica (como problemas de escalada) y
diseñe programas e interfaces que aprovechen la intuición humana y el hardware
informático disponible. Teniendo en cuenta toda la extrañeza de los problemas de
 escalar colinas de dimensiones superiores (y los ingeniosos algoritmos que se han
ideado para su solución), podría haber algunas pantallas y herramientas de control
muy interesantes proporcionadas al miembro del equipo humano.

 Desarrollar la simbiosis humano/computadora en el arte: combinar la capacidad de

generación gráfica de las máquinas modernas y la sensibilidad estética de los
humanos. Por supuesto, ha habido una enorme cantidad de investigación en el diseño
de ayudas informáticas para artistas, como herramientas de ahorro de trabajo. Estoy
sugiriendo que apuntemos explícitamente a una mayor fusión de competencias, que
reconozcamos explícitamente el enfoque cooperativo que es posible. Karl Sims [23] ha
hecho un trabajo maravilloso en esta dirección.

 Permitir equipos de humanos/computadoras en torneos de ajedrez. Ya tenemos

programas que pueden jugar mejor que casi todos los humanos. Pero, ¿cuánto trabajo
se ha hecho sobre cómo un ser humano podría usar este poder para obtener algo aún
mejor? Si tales equipos estuvieran permitidos en al menos algunos torneos de ajedrez,
podría tener el efecto positivo en la investigación de IA que tuvo permitir
computadoras en torneos para el nicho correspondiente en IA.

 Desarrolle interfaces que permitan el acceso a la computadora y la red sin requerir que
el ser humano esté atado a un solo lugar, sentado frente a una computadora. (Este es
un aspecto de IA que encaja tan bien con las ventajas económicas conocidas que ya se
está invirtiendo mucho esfuerzo en ello).

 Desarrollar sistemas de apoyo a la toma de decisiones más simétricos. Un área de

investigación/producto popular en los últimos años ha sido los sistemas de soporte de
decisiones. Esta es una forma de IA, pero puede estar demasiado enfocada en sistemas
que son oraculares. Tanto como el programa que le da información al usuario, debe
existir la idea de que el usuario le brinde orientación al programa.

 Usar redes de área local para hacer equipos humanos que realmente funcionen (es
decir, que sean más efectivos que los miembros que los componen). Esta es
generalmente el área de "groupware", que ya es una actividad comercial muy
popular. El cambio de punto de vista aquí sería considerar la actividad del grupo como
un organismo combinado. En cierto sentido, esta sugerencia podría considerarse como
el objetivo de inventar unas "Reglas de orden" para tales operaciones combinadas. Por
ejemplo, el enfoque grupal puede mantenerse más fácilmente que en las reuniones
clásicas. La experiencia de los miembros humanos individuales podría aislarse de los
problemas del ego, de modo que la contribución de los diferentes miembros se centre
en el proyecto del equipo. Y, por supuesto, las bases de datos compartidas podrían
usarse de manera mucho más conveniente que en las operaciones de comités
convencionales. (Tenga en cuenta que esta sugerencia está dirigida a operaciones de
equipo en lugar de reuniones políticas. En un entorno político, la automatización
descrita anteriormente simplemente haría cumplir el poder de las personas que hacen
las reglas).

 Explotar Internet en todo el mundo como una combinación de herramienta

humana/máquina. De todos los elementos de la lista, el progreso en este es el más
rápido y puede llevarnos a la Singularidad antes que nada. Incluso el poder y la
influencia de la Internet actual se subestiman enormemente. Por ejemplo, creo que
nuestros sistemas informáticos contemporáneos se romperían bajo el peso de su
 propia complejidad si no fuera por la ventaja que la "mente de grupo" de USENET
brinda a la administración del sistema y al personal de soporte. La misma anarquía del
desarrollo de la red mundial es evidencia de su potencial. A medida que aumentan la
conectividad, el ancho de banda, el tamaño del archivo y la velocidad de la
computadora,

Los ejemplos anteriores ilustran la investigación que se puede realizar en el contexto de los
departamentos de informática contemporáneos. Hay otros paradigmas. Por ejemplo, gran
parte del trabajo en inteligencia artificial y redes neuronales se beneficiaría de una conexión
más estrecha con la vida biológica. En lugar de simplemente tratar de modelar y comprender
la vida biológica con computadoras, la investigación podría dirigirse hacia la creación de
sistemas compuestos que dependan de la vida biológica como guía o para proporcionar
características que aún no entendemos lo suficientemente bien como para implementarlas en
el hardware. Un sueño de mucho tiempo de la ciencia ficción ha sido el cerebro directo a las
interfaces de la computadora [2] [29]. De hecho, hay trabajo concreto que se puede hacer (y
se está haciendo) en esta área:

 La prótesis de extremidades es un tema de aplicabilidad comercial directa. Se pueden

fabricar transductores de nervio a silicio [14]. Este es un emocionante paso a corto
plazo hacia la comunicación directa.

 Los enlaces directos a los cerebros parecen factibles, si la tasa de bits es baja: dada la
flexibilidad de aprendizaje humano, es posible que no sea necesario seleccionar con
precisión los objetivos reales de las neuronas cerebrales. Incluso 100 bits por segundo
serían de gran utilidad para las víctimas de accidentes cerebrovasculares que, de otro
modo, estarían confinadas a interfaces basadas en menús.

 Conectarse al troncal óptico tiene el potencial de anchos de banda de 1 Mbit/segundo

más o menos. Pero para esto, necesitamos conocer la arquitectura de la visión a escala
fina, y debemos colocar una enorme red de electrodos con una precisión exquisita. Si
queremos que nuestra conexión de gran ancho de banda sea _además_ de las rutas
que ya están presentes en el cerebro, el problema se vuelve mucho más insoluble. El
simple hecho de colocar una red de receptores de gran ancho de banda en un cerebro
ciertamente no es suficiente. Pero supongamos que la cuadrícula de gran ancho de
banda estuviera presente mientras la estructura del cerebro se estaba configurando, a
medida que se desarrolla el embrión. Eso sugiere:

 Experimentos con embriones animales. No esperaría ningún éxito de IA en los

primeros años de dicha investigación, pero dar a los cerebros en desarrollo acceso a
estructuras neuronales simuladas complejas podría ser muy interesante para las
personas que estudian cómo se desarrolla el cerebro embrionario. A la larga, tales
experimentos podrían producir animales con sentidos adicionales y habilidades
intelectuales interesantes.

Originalmente, tenía la esperanza de que esta discusión de IA arrojaría algunos enfoques

claramente más seguros para la Singularidad. (Después de todo, IA permite nuestra
participación en una especie de trascendencia.) Por desgracia, mirando hacia atrás sobre estas
propuestas de IA, de lo único que estoy seguro es que deben ser consideradas, que pueden
darnos más opciones. Pero en cuanto a la seguridad... bueno, algunas de las sugerencias dan
un poco de miedo. Uno de mis revisores informales señaló que IA para humanos individuales
crea una élite bastante siniestra. Los humanos tenemos millones de años de bagaje evolutivo
que nos hace ver la competencia bajo una luz letal. Gran parte de esa letalidad puede no ser
necesaria en el mundo actual, en el que los perdedores se enfrentan a los ganadores. trucos y
son cooptados en las empresas de los ganadores. Una criatura que fue construida _de novo_
posiblemente podría ser una entidad mucho más benigna que una con un núcleo basado en
colmillos y garras. E incluso la visión igualitaria de una Internet que despierta junto con toda la
humanidad puede verse como una pesadilla [26].

El problema no es simplemente que la Singularidad represente el paso de la humanidad desde

el centro del escenario, sino que contradice nuestras nociones más profundas del ser. Creo
que una mirada más cercana a la noción de superhumanidad fuerte puede mostrar por qué es
así.

Superhumanidad fuerte y lo mejor que podemos pedir

Supongamos que pudiéramos adaptar la Singularidad. Supongamos que pudiéramos alcanzar

nuestras esperanzas más extravagantes. Entonces, ¿qué pediríamos? Que los humanos
mismos se conviertan en sus propios sucesores, que cualquier injusticia que ocurra sea
atenuada por nuestro conocimiento de nuestras raíces. Para aquellos que permanecieron
inalterados, el objetivo sería un trato benigno (quizás incluso dar la apariencia de ser amos de
esclavos divinos). Podría ser una época dorada que también implicara progreso (superar la
barrera de Stent). La inmortalidad (o al menos toda la vida, siempre y cuando podamos hacer
que el universo sobreviva [10] [4]) sería alcanzable.

Pero en este mundo más brillante y amable, los problemas filosóficos en sí mismos se vuelven
intimidantes. Una mente que permanece en la misma capacidad no puede vivir para
siempre; después de unos pocos miles de años se parecería más a un bucle de cinta repetitivo
que a una persona. (La imagen más escalofriante que he visto de esto está en [18].) Para vivir
indefinidamente, la mente misma debe crecer... y cuando se vuelve lo suficientemente grande
y mira hacia atrás... ¿qué sentimiento de compañerismo puede tener? con el alma que era
originalmente? Ciertamente, el ser posterior sería todo lo que fue el original, pero muchísimo
más. Y así, incluso para el individuo, la noción de Cairns-Smith o Lynn Margulis de una nueva
vida que crece progresivamente a partir de la vieja debe seguir siendo válida.

Este "problema" sobre la inmortalidad surge de formas mucho más directas. La noción de ego
y autoconciencia ha sido la base del racionalismo testarudo de los últimos siglos. Sin embargo,
ahora la noción de autoconciencia está siendo atacada por la gente de Inteligencia Artificial
("autoconciencia y otros engaños"). La amplificación de inteligencia socava nuestro concepto
de ego desde otra dirección. El mundo posterior a la Singularidad implicará redes de ancho de
banda extremadamente alto. Una característica central de las entidades fuertemente
sobrehumanas probablemente sea su capacidad para comunicarse en anchos de banda
variables, incluidos aquellos mucho más altos que el habla o los mensajes escritos. ¿Qué
sucede cuando las piezas del ego se pueden copiar y fusionar, cuando el tamaño de una
autoconciencia puede crecer o reducirse para adaptarse a la naturaleza de los problemas bajo
consideración? Estas son características esenciales de la sobrehumanidad fuerte y la
Singularidad. Pensando en ellos, uno comienza a sentir lo esencialmente extraña y diferente
que será la era Post-Humana -- _no importa cuán inteligente y benignamente se presente_.

Desde un ángulo, la visión se ajusta a muchos de nuestros sueños más felices: un tiempo sin
fin, donde podemos conocernos verdaderamente y comprender los misterios más
profundos. Desde otro ángulo, se parece mucho al peor de los casos que imaginé
anteriormente en este documento.
¿Cuál es el punto de vista válido? De hecho, creo que la nueva era es simplemente demasiado
diferente para encajar en el marco clásico del bien y el mal. Ese marco se basa en la idea de
mentes aisladas e inmutables conectadas por enlaces tenues de bajo ancho de banda. Pero el
mundo posterior a la Singularidad _sí_ encaja con la tradición más amplia de cambio y
cooperación que comenzó hace mucho tiempo (quizás incluso antes del surgimiento de la vida
biológica). Creo que hay nociones de ética que se aplicarían en una era así. La investigación
sobre IA y comunicaciones de gran ancho de banda debería mejorar esta comprensión. Veo
solo los destellos de esto ahora [32]. Está la meta-regla de oro de Good; tal vez haya reglas
para distinguirse uno mismo de los demás sobre la base del ancho de banda de la conexión. Y
aunque la mente y el yo serán mucho más lábiles que en el pasado, gran parte de lo que
valoramos (conocimiento, memoria, pensamiento) nunca se perderá. Creo que Freeman Dyson
tiene razón cuando dice [9]: "Dios es en lo que se convierte la mente cuando ha sobrepasado
la escala de nuestra comprensión".

[Deseo agradecer a John Carroll de la Universidad Estatal de San Diego y a Howard Davidson de
Sun Microsystems por analizar conmigo la versión preliminar de este artículo].

Fuentes anotadas [y una petición ocasional de ayuda bibliográfica]

[1] Alfve'n, Hannes, escribiendo como Olof Johanneson, _The End of Man?_, Award Books,
1969 publicado anteriormente como "The Tale of the Big Computer", Coward-McCann,
traducido de un libro copyright 1966 Albert Bonniers Forlag AB con traducción al inglés
copyright 1966 por Victor Gollanz, Ltd.

[2] Anderson, Poul, "Kings Who Die", _If_, marzo de 1962, p8-36. Reimpreso en _Seven
Conquests_, Poul Anderson, MacMillan Co., 1969.

[3] Asimov, Isaac, "Runaround", _Astounding Science Fiction_, marzo de 1942, p94. Reimpreso
en _Robot Visions_, Isaac Asimov, ROC, 1990. Asimov describe el desarrollo de sus historias de
robótica en este libro.

[4] Barrow, John D. y Frank J. Tipler, _El principio cosmológico antrópico_, Oxford University
Press, 1986.

[5] Bear, Greg, "Blood Music", _Analog Science Fiction-Science Fact_, junio de 1983. Ampliado
a la novela _Blood Music_, Morrow, 1985.

[6] Cairns-Smith, AG, _Siete pistas sobre el origen de la vida_, Cambridge University Press,
1985.

[7] Conrad, Michael _et al._, "Hacia un cerebro artificial", _BioSystems_, vol 23, pp175-218,
1989.

[8] Drexler, K. Eric, _Engines of Creation_, Anchor Press/Doubleday, 1986.

[9] Dyson, Freeman, _Infinito en todas las direcciones_, Harper && Row, 1988.

[10] Dyson, Freeman, "Física y biología en un universo abierto", _Review of Modern Physics_,
vol 51, pp447-460, 1979.

[11] Good, IJ, "Speculations Concerning the First Ultraintelligent Machine", en _Advances in
Computers_, vol 6, Franz L. Alt y Morris Rubinoff, eds, pp31-88, 1965, Academic Press.
[12] Bien, IJ, [¡Ayuda! No puedo encontrar la fuente de la meta-regla de oro de Good, aunque
tengo el claro recuerdo de haber oído hablar de ella en algún momento de la década de
1960. A través de la ayuda de la red, he encontrado punteros a una serie de elementos
relacionados. G. Harry Stine y Andrew Haley han escrito sobre metalaw en relación con los
extraterrestres: G. Harry Stine, "How to Get Along with Extraterrestrials... or Your Neighbor",
_Analog Science Fact- Science Fiction_, febrero de 1980, p39 -47.] [13] Herbert, Frank, _Dune_,
Berkley Books, 1985. Sin embargo, esta novela se publicó por entregas en _Analog Science
Fiction-Science Fact_ en la década de 1960.

[14] Kovacs, GTA _et al._, "Conjunto de microelectrodos de regeneración para el registro y
estimulación de nervios periféricos", _IEEE Transactions on Biomedical Engineering_, v 39, n 9,
pp 893-902.

[15] Margulis, Lynn y Dorion Sagan, _Microcosmos, Four Billion Years of Evolution from Our
Microbial Ancestors_, Summit Books, 1986.

[16] Minsky, Marvin, _Sociedad de la Mente_, Simon and Schuster, 1985.

[17] Moravec, Hans, _Mind Children_, Harvard University Press, 1988.

[18] Niven, Larry, "La ética de la locura", _If_, abril de 1967, pp82-108. Reimpreso en _Neutron
Star_, Larry Niven, Ballantine Books, 1968.

[19] Penrose, Roger, _La nueva mente del emperador_, Oxford University Press, 1989.

[20] Platt, Charles, Comunicación privada.

[21] Rasmussen, S. _et al._, "Conexionismo computacional dentro de las neuronas: un modelo
de autómatas citoesqueléticos al servicio de las redes neuronales", en _Emergent
Computation_, Stephanie Forrest, ed., pp428-449, MIT Press, 1991.

[22] Searle, John R., "Minds, Brains, and Programs", en _The Behavioral and Brain Sciences_,
vol 3, Cambridge University Press, 1980. El ensayo se reproduce en _The Mind's I_, editado por
Douglas R. Hofstadter y Daniel C. Dennett, Basic Books, 1981 (mi fuente para esta
referencia). Esta reimpresión contiene una excelente crítica del ensayo de Searle.

[23] Sims, Karl, "Interactive Evolution of Dynamical Systems", Thinking Machines Corporation,
Technical Report Series (publicado en _Toward a Practice of Autonomous Systems:
Proceedings of the First European Conference on Artificial Life_, París, MIT Press, diciembre de
1991.

[24] Stapledon, Olaf, _The Starmaker_, Berkley Books, 1961 (pero desde la fecha en adelante,
probablemente escrito antes de 1937).

[25] Stent, Gunther S., _The Coming of the Golden Age: A View of the End of Progress_, The
Natural History Press, 1969.

[26] Swanwick Michael, _Vacuum Flowers_, serializado en _Isaac Asimov's Science Fiction
Magazine_, diciembre (?) 1986 - febrero 1987. Reeditado por Ace Books, 1988.

[27] Thearling, Kurt, "Cómo construiremos una máquina que piense", un taller en Thinking
Machines Corporation, 24-26 de agosto de 1992. Comunicación personal.

[28] Ulam, S., Tribute to John von Neumann, _Boletín de la American Mathematical Society_,
vol 64, nr 3, parte 2, mayo de 1958, pp1-49.
[29] Vinge, Vernor, "Bookworm, Run!", _Analog_, marzo de 1966, pp8-40. Reimpreso en _True
Names and Other Dangers_, Vernor Vinge, Baen Books, 1987.

[30] Vinge, Vernor, "True Names", _Binary Star Number 5_, Dell, 1981. Reimpreso en _True
Names and Other Dangers_, Vernor Vinge, Baen Books, 1987.

[31] Vinge, Vernor, First Word, _Omni_, enero de 1983, p10.

[32] Vinge, Vernor, Aparecer [ :-) ].