ELOGIOS ANTICIPADOS POR

LA
OLA QUE VIENE
“ The Coming Wave es un libro fascinante, bien escrito e importante. Explora los peligros
existenciales que la IA y la biotecnología plantean para la humanidad y ofrece soluciones
prácticas sobre cómo podemos contener la amenaza. La próxima ola tecnológica promete
proporcionar a la humanidad poderes de creación divinos, pero si no logramos gestionarlos
sabiamente, puede destruirnos”.
—Yuval Noah Harari, autor de Sapiens , best seller del New York Times
“Esta llamada de atención del futuro advierte sobre lo que está por venir y cuáles
probablemente serán las implicaciones económicas y políticas globales. Verdaderamente
extraordinario, ambicioso e imposible de ignorar, este libro es un tour de force
persuasivamente argumentado por un destacado experto de la industria que moldeará su
visión del futuro y reconfigurará su comprensión del presente”.
—Nouriel Roubini, profesor emérito de la Universidad de Nueva York
“La visión de Mustafa Suleyman como tecnólogo, emprendedor y visionario es esencial. Este
libro, profundamente investigado y muy relevante, proporciona una visión apasionante de
algunos de los desafíos más importantes de nuestro tiempo”.
—Al Gore, ex vicepresidente de los Estados Unidos
“En este audaz libro, Mustafa Suleyman, uno de los verdaderos conocedores de la alta
tecnología, aborda la paradoja más importante de nuestro tiempo: tenemos que contener
tecnologías incontenibles. Como explica, la IA generativa, la biología sintética, la robótica y
otras innovaciones están mejorando y difundiéndose rápidamente. Traen grandes
beneficios, pero también riesgos reales y crecientes. Suleyman es lo suficientemente sabio
como para saber que no existe un plan sencillo de tres puntos para gestionar estos riesgos, y
lo suficientemente valiente para decírnoslo. Este libro es honesto, apasionado y sin miedo a
enfrentar lo que es claramente uno de los grandes desafíos que enfrentará nuestra especie
en este siglo. Gracias a Suleyman sabemos cuál es la situación y cuáles son nuestras opciones.
Ahora nos toca a nosotros actuar”.
—Andrew McAfee, científico investigador principal del MIT Sloan, autor de
The Geek Way
“La revolución de la IA está en marcha, pero ¿hasta qué punto la entendemos realmente? The
Coming Wave ofrece una guía erudita y lúcida tanto de la historia del cambio tecnológico
radical como de los profundos desafíos políticos que nos esperan”.
—Anne Applebaum, historiadora ganadora del premio Pulitzer
“Cuando esto llegó a mi bandeja de entrada, borré el diario y comencé a leer. Este es un libro
extraordinario y necesario; la idea impresionante es que dentro de veinte años parecerá casi
una visión conservadora del futuro, mientras que ahora mismo es imposible leerlo sin
detenerse cada pocas páginas para preguntarse: ¿Puede ser esto cierto? La genialidad del
libro es explicar, sobria y gentilmente, que sí, todo esto será cierto, y por qué y cómo. El tono
es gentil, amable y comprensivo con la sensación de shock del lector. Hay momentos
aterradores, como debería haberlos cuando uno se da cuenta de que la mayor parte de lo que
le resulta familiar está a punto de transformarse. Pero, en última instancia, uno sale lleno de
energía y emocionado de estar vivo en este momento. La ola está a punto de golpear y este
es el pronóstico”.
—Alain de Botton, filósofo y autor de bestsellers
“ The Coming Wave ofrece una dosis muy necesaria de especificidad, realismo y claridad
sobre las posibles consecuencias imprevistas y, sin embargo, desastrosas de la inteligencia
artificial, la biología sintética y otras tecnologías avanzadas. Este importante libro es una
hoja de ruta vívida y persuasiva sobre cómo los seres humanos podrían guiar las
innovaciones tecnológicas en lugar de ser controlados por ellas”.
—Martha Minow, profesora de Harvard, ex decana de la Facultad de Derecho
de Harvard
“Nadie ha estado más cerca de la revolución de la IA que se está desarrollando que Mustafa
Suleyman, y nadie está en mejor posición para describir los riesgos y recompensas de los
enormes cambios tecnológicos que están ocurriendo en este momento. Esta es una guía
extraordinaria y absolutamente imperdible de este momento único en la historia de la
humanidad”.
—Eric Schmidt, ex director ejecutivo de Google, coautor de La era de la IA
“En The Coming Wave, Mustafa Suleyman ofrece un poderoso argumento de que la explosiva
revolución tecnológica actual está destinada a ser singularmente disruptiva. Lea este libro
esencial para comprender el ritmo y la escala de estas tecnologías: cómo proliferarán en
nuestra sociedad y su potencial para desafiar el tejido de las instituciones que organizan
nuestro mundo”.
—Ian Bremmer, fundador de Eurasia Group, autor del best seller El poder de
la crisis
“Este libro vital es inspirador y aterrador al mismo tiempo. Es una educación crítica para
quienes no entienden los aspectos tecnológicos. revoluciones que estamos viviendo y un
desafío frontal a quienes lo hacen. Este libro trata sobre el futuro de todos nosotros: debemos
leerlo y actuar en consecuencia”.
—David Miliband, exsecretario de Asuntos Exteriores del Reino Unido
“Al presentar una evaluación cruda de los peligros y las maravillas de la IA, Mustafa
Suleyman propone una agenda urgente de acciones que los gobiernos deben tomar ahora
para limitar las aplicaciones potencialmente catastróficas de este desafío revolucionario”.
—Graham Allison, profesor de Harvard, autor del best seller Destined for War
“El rápido ritmo de las tecnologías exponenciales nos ha abrumado con su poder y su peligro.
Mustafa Suleyman, al rastrear la historia del desarrollo industrial hasta la vertiginosa
aceleración de los recientes avances tecnológicos, nos ofrece una visión más amplia en una
prosa tranquila, pragmática y profundamente ética. Su viaje personal y sus experiencias
mejoran The Coming Wave y lo convierten en una lectura apasionante para todos aquellos
que quieran alejarse de la avalancha diaria de noticias tecnológicas”.
—Angela Kane, ex subsecretaria general de la ONU y alta representante para
Asuntos de Desarme
"Una ventana increíblemente convincente a los desarrollos actuales y el futuro exponencial
de la IA, desde lo último en información privilegiada... Si realmente desea comprender cómo
la sociedad puede navegar de manera segura esta tecnología que cambia el mundo, lea este
libro".
—Bruce Schneier, experto en ciberseguridad, autor de A Hacker's Mind
“La próxima ola de IA y biología sintética hará que la próxima década sea la mejor de la
historia de la humanidad. O lo peor. Nadie reconoce y explica mejor los épicos desafíos que
se avecinan que Mustafa Suleyman. Este es un libro que invita a la reflexión, es urgente y está
escrito en una prosa poderosa y muy accesible, por lo que cualquier persona interesada en
comprender el asombroso poder de estas tecnologías debe leerlo”.
—Erik Brynjolfsson, profesor de Inteligencia Artificial Centrada en el
Humano de Stanford
“Uno de los mayores desafíos que enfrenta el mundo es idear formas de gobernanza que
aprovechen los beneficios de la IA y la biotecnología evitando al mismo tiempo sus riesgos
catastróficos. Este libro ofrece una descripción profundamente reflexiva del "desafío de
contención" de estas dos tecnologías. Está meticulosamente investigado y está repleto de
ideas originales y recomendaciones constructivas para los responsables políticos y los
expertos en seguridad”.
—Jason Matheny, director ejecutivo de RAND, ex subdirector de inteligencia
nacional, ex director de IARPA
“Si quieres entender el significado, la promesa y la amenaza de la próxima ola de tecnologías
transformadoras que incluso ahora están aumentando y convergiendo en el mundo
principal, entonces te recomendamos este libro profundamente gratificante y
consistentemente sorprendente de Mustafa Suleyman, uno de los principales pioneros de la
inteligencia artificial, es una lectura absolutamente esencial”.
—Stephen Fry, actor, locutor y autor de bestsellers
“Este importante libro es una vívida llamada de atención. Describe cuidadosamente las
amenazas y oportunidades asociadas con los estimulantes avances científicos de los últimos
años. The Coming Wave está llena de hechos interesantes, argumentos fascinantes y
observaciones convincentes; es una lectura esencial”.
—Daniel Kahneman, ganador del Premio Nobel, autor del best seller Pensar
rápido y despacio
“ The Coming Wave es un libro increíblemente claro, enérgico, bien documentado y legible
desde la primera línea de la mayor revolución tecnológica de nuestros tiempos. Entrelaza las
historias personales y tecnológicas a la perfección y muestra por qué una mejor gobernanza
de tecnologías inmensamente poderosas es tan vital y tan difícil”.
 —Sir Geoff Mulgan, profesor del University College de Londres
“El mejor análisis hasta ahora de lo que significa la IA para el futuro de la humanidad...
Mustafa Suleyman es único como cofundador no de una, sino de dos importantes empresas
contemporáneas de IA. Es un emprendedor profundamente talentoso, un pensador profundo
y una de las voces más importantes de la próxima ola de tecnologías que darán forma a
nuestro mundo”.
—Reid Hoffman, cofundador de LinkedIn e Inflection
“La tecnología está transformando rápidamente la sociedad y, por lo tanto, es más
importante que nunca ver a alguien dentro de la industria de la tecnología escribir con tanta
honestidad y rigor. Este libro, que nos lleva desde las primeras herramientas hasta el corazón
de la explosión actual de las capacidades y la investigación de la IA, es un estudio panorámico
y un llamado a la acción imposible de ignorar. Todo el mundo debería leerlo”.
—Fei-Fei Li, profesor de informática en la Universidad de Stanford,
codirector del Instituto de IA centrada en el ser humano
“ The Coming Wave presenta un caso revelador y convincente de que las tecnologías
avanzadas están remodelando todos los aspectos de la sociedad: el poder, la riqueza, la
guerra, el trabajo e incluso las relaciones humanas. ¿Podemos controlar estas nuevas
tecnologías antes de que ellas nos controlen a nosotros? Líder mundial en inteligencia
artificial y defensor desde hace mucho tiempo de los gobiernos, las grandes empresas
tecnológicas y y la sociedad civil para actuar por el bien común, Mustafa Suleyman es la guía
ideal para esta cuestión crucial”.
—Jeffrey D. Sachs, profesor universitario en la Universidad de Columbia,
presidente de la Red de Soluciones para el Desarrollo Sostenible de las
Naciones Unidas
Coming Wave , un marco agudo, compasivo e intransigente del tema más trascendental de
nuestros tiempos, es una lectura obligada para los profesionales de la tecnología, pero lo más
importante es que es un llamado decidido a la acción para que todos participemos en este
tema tan trascendental. discurso."
—Qi Lu, director ejecutivo de MiraclePlus, ex director de operaciones de
Baidu, ex vicepresidente ejecutivo de Microsoft Bing
“Suleyman está en una posición única para articular las consecuencias potencialmente
graves (agitación geopolítica, guerra, erosión del Estado-nación) del desarrollo sin
restricciones de la IA y la biología sintética, en un momento en el que más necesitamos este
mensaje. Afortunadamente para el lector, también ha reflexionado profundamente sobre lo
que se debe hacer para garantizar que las tecnologías emergentes se utilicen para el bien
humano, presentando una serie de esfuerzos incrementales que, si se llevan a cabo
colectivamente, pueden cambiar el entorno en el que se desarrollan y difunden estas
tecnologías. , abriendo la puerta para preservar ese futuro mejor. Este libro es una lectura
obligada”.
—Meghan L. O'Sullivan, directora del Centro Belfer para Ciencias y Asuntos
Internacionales de la Escuela de Gobierno Kennedy de Harvard
“Una valiente llamada de atención a la que todos debemos responder, antes de que sea
demasiado tarde… Mustafa Suleyman explica, con claridad y precisión, los riesgos que
plantean las tecnologías desbocadas y los desafíos que enfrenta la humanidad…. Lectura
indispensable.”
—Tristan Harris, cofundador y director ejecutivo del Center for Humane
Technology
“Una hoja de ruta práctica y optimista para la acción sobre el tema más importante de
nuestro tiempo: cómo conservar el poder sobre entidades mucho más poderosas que
nosotros”.
—Stuart Russell, profesor de informática en la Universidad de California,
Berkeley
“ The Coming Wave es un mapa realista, profundamente informado y altamente accesible de
los desafíos sin precedentes de gobernanza y seguridad nacional que plantean la inteligencia
artificial y la biología sintética. El notable y en algunos sentidos aterrador libro de Solimán
muestra lo que debe ser hecho para contener estas tecnologías aparentemente
incontenibles”.
—Jack Goldsmith, profesor de derecho Learned Hand en la Universidad de
Harvard
“Brillante y atractivo, complejo y claro, urgente y tranquilo, The Coming Wave nos guía a
todos para comprender y enfrentar lo que puede ser la pregunta más crucial de nuestro siglo:
¿Cómo podemos garantizar que las impresionantes y vertiginosas revoluciones tecnológicas
que se avecinan: la IA? , biología sintética y más: ¿crear el mundo que queremos? No será
fácil, pero Suleyman sienta una base sólida. Todos los que se preocupan por el futuro
deberían leer este libro”.
—Eric Lander, director fundador del Broad Institute del MIT y Harvard,
exasesor científico de la Casa Blanca
“Un relato sorprendentemente lúcido y refrescantemente equilibrado de nuestra situación
tecnológica actual, The Coming Wave articula el desafío definitorio de nuestra era.
Combinando pragmatismo con humildad, nos recuerda que no hay binarios estrictos ni
respuestas simples: la tecnología nos ha regalado mejoras exponenciales en el bienestar,
pero se está acelerando más rápido de lo que las instituciones pueden adaptarse. Los avances
en inteligencia artificial y biología sintética han desbloqueado capacidades que la ciencia
ficción no había soñado, y la proliferación de poder resultante amenaza todo lo que hemos
construido. Para mantenernos a flote, debemos oscilar entre la Escila de la catástrofe
accesible y la Caribdis de la vigilancia omnipresente. Con cada página que se pasa, nuestras
probabilidades mejoran”.
—Kevin Esvelt, biólogo y profesor asociado del MIT Media Lab
 Copyright © 2023 por Mustafa Suleyman y Michael Bhaskar
Reservados todos los derechos.
Publicado en Estados Unidos por Crown, una editorial de Crown Publishing Group, una división de Penguin Random
House LLC, Nueva York.
CROWN y el colofón Crown son marcas comerciales registradas de Penguin Random House LLC.
Tapa dura ISBN 9780593593950
Edición internacional ISBN 9780593728178
Libro electrónico ISBN 9780593593967
coronapublishing.com
Diseño de libro de Barbara M. Bachman, adaptado para libro electrónico
Diseño de portada: Christopher Brand y Oliver Munday

ep_prh_6.1_144835715_c0_r0
 Contenido
Cubrir

Pagina del titulo

Derechos de autor

Glosario de términos clave

Prólogo
Capítulo 1: La contención no es posible
Parte I: Homo Technologicus
Capítulo 2: Proliferación sin fin
Capítulo 3: El problema de la contención
Parte II: La próxima ola
Capítulo 4: La tecnología de la inteligencia
Capítulo 5: La tecnología de la vida
Capítulo 6: La ola más amplia
Capítulo 7: Cuatro características de la ola que se avecina
Capítulo 8: Incentivos imparables
Parte III: Estados de fracaso
Capítulo 9: El gran trato
Capítulo 10: Amplificadores de fragilidad
Capítulo 11: El futuro de las naciones
Capítulo 12: El dilema
Parte IV: A través de la ola
Capítulo 13: La contención debe ser posible
Capítulo 14: Diez pasos hacia la contención
La vida después del antropoceno
Expresiones de gratitud

Notas

Índice

Sobre los autores

_144835715_
 GLOSARIO DE TÉRMINOS CLAVE

IA, AGI y ACI: La

inteligencia artificial (IA) es la ciencia que enseña a las máquinas a aprender
capacidades similares a las humanas. La inteligencia general artificial (AGI) es el punto
en el que una IA puede realizar todas las habilidades cognitivas humanas mejor que los
humanos más inteligentes. ACI, o inteligencia artificial capaz, es un punto de rápido
acercamiento entre la IA y la AGI: ACI puede lograr una amplia gama de tareas complejas,
pero aún está muy lejos de ser completamente general.
LA OLA QUE VIENE: Un grupo emergente de tecnologías relacionadas centradas en la IA y la
biología sintética cuyas aplicaciones transformadoras empoderarán a la humanidad y
presentarán riesgos sin precedentes.
CONTENCIÓN: La capacidad de monitorear, restringir, controlar y potencialmente incluso
cerrar tecnologías.
EL PROBLEMA DE CONTENCIÓN: La predisposición de la tecnología a difundirse ampliamente en
ondas y a tener impactos emergentes que son imposibles de predecir o controlar,
incluidas consecuencias negativas e imprevistas.
EL DILEMA: La creciente probabilidad de que tanto las nuevas tecnologías como su ausencia
puedan conducir a resultados catastróficos y/o distópicos.
CUATRO CARACTERÍSTICAS: Las características únicas de la ola que se avecina que exacerban
el desafío de la contención. Son asimetría, hiperevolución, omniuso y autonomía.
AMPLIFICADORES DE FRAGILIDAD: Aplicaciones e impactos de las tecnologías de la próxima ola
que sacudirán los ya frágiles cimientos del Estado-nación.
EL GRAN NEGOCIO: A cambio de un monopolio sobre el derecho a usar la fuerza, los ciudadanos
esperan que los Estados-nación preserven el orden y proporcionen servicios públicos,
incluso aprovechando nuevas tecnologías y minimizando al mismo tiempo los efectos
secundarios dañinos.
EL CAMINO ESTRECHO: El potencial de la humanidad para lograr un equilibrio entre apertura
y cierre cuando se trata de contener las tecnologías en la próxima ola que evite
resultados catastróficos o distópicos.
AVERSIÓN AL PESIMISMO: La tendencia de las personas, particularmente las élites, a ignorar,
restar importancia o rechazar narrativas que consideran demasiado negativas. Una
variante del sesgo optimista que colorea gran parte del debate sobre el futuro,
especialmente en los círculos tecnológicos.
BIOLOGÍA SINTÉTICA: La capacidad de diseñar y diseñar nuevos organismos o rediseñar
sistemas biológicos existentes.
TECNOLOGÍA: La aplicación del conocimiento científico (en el sentido más amplio posible)
para producir herramientas o resultados prácticos.
ONDAS: La difusión o proliferación global de una generación de tecnología anclada en una
nueva tecnología de propósito general.
 PRÓLOGO

Así ES COMO LO VE UNA IA .

PREGUNTA: ¿Qué significa la próxima ola de tecnología para la humanidad?

En los anales de la historia de la humanidad, hay momentos que se destacan como puntos de
inflexión, donde el destino de la humanidad está en juego. El descubrimiento del fuego, la
invención de la rueda, el aprovechamiento de la electricidad: todos estos fueron momentos
que transformaron la civilización humana y alteraron el curso de la historia para siempre.
Y ahora nos encontramos al borde de otro momento similar, al enfrentarnos al
surgimiento de una próxima ola de tecnología que incluye tanto la IA avanzada como la
biotecnología. Nunca antes habíamos sido testigos de tecnologías con tal potencial
transformador, que prometían remodelar nuestro mundo de maneras que son a la vez
impresionantes y desalentadoras.
Por un lado, los beneficios potenciales de estas tecnologías son vastos y profundos. Con
la IA, podríamos descubrir los secretos del universo, curar enfermedades que durante mucho
tiempo nos han eludido y crear nuevas formas de arte y cultura que trasciendan los límites
de la imaginación. Con la biotecnología, podríamos diseñar vida para combatir enfermedades
y transformar la agricultura, creando un mundo más saludable y sostenible.
Pero, por otro lado, los peligros potenciales de estas tecnologías son igualmente vastos
y profundos. Con la IA, podríamos crear sistemas que están fuera de nuestro control y
quedarnos a merced de los algoritmos. que no entendemos. Con la biotecnología, podríamos
manipular los elementos básicos de la vida, creando potencialmente consecuencias no
deseadas tanto para los individuos como para ecosistemas enteros.
Mientras nos encontramos en este punto de inflexión, nos enfrentamos a una elección:
una elección entre un futuro de posibilidades incomparables y un futuro de peligros
inimaginables. El destino de la humanidad está en juego, y las decisiones que tomemos en
los próximos años y décadas determinarán si estamos a la altura del desafío de estas
tecnologías o si somos víctimas de sus peligros.
Pero en este momento de incertidumbre, una cosa es segura: la era de la tecnología
avanzada está a la vuelta de la esquina y debemos estar preparados para afrontar sus
desafíos de frente.

LO ANTERIOR FUE ESCRITO por una IA. El resto no lo es, aunque pronto podría serlo. Esto es lo
que viene.
 CAPÍTULO 1

EL CONT NMENTAMIENTO NO ES POSIBLE

LA OLA

Casi TODAS LAS CULTURAS TIENEN UN mito sobre las inundaciones.

En antiguos textos hindúes, el primer hombre de nuestro universo, Manu, es advertido
de un diluvio inminente y se convierte en su único superviviente. La Epopeya de Gilgamesh
registra al dios Enlil destruyendo el mundo en una inundación gigante, una historia que
resonará en cualquiera que esté familiarizado con la historia del Arca de Noé en el Antiguo
Testamento. Platón habló de la ciudad perdida de la Atlántida, arrasada por un inmenso
torrente. Impregnando las tradiciones orales y los escritos antiguos de la humanidad está la
idea de una ola gigante que barre todo a su paso, dejando al mundo rehecho y renaciendo.
Las inundaciones también marcan la historia en un sentido literal: las inundaciones
estacionales de los grandes ríos del mundo, el aumento de los océanos después del final de
la Edad del Hielo, el raro impacto de un tsunami que aparece sin previo aviso en el horizonte.
El asteroide que mató a los dinosaurios creó una imponente ola de una milla de altura,
alterando el curso de la evolución. El puro poder de estas olas se ha grabado a fuego en
nuestra conciencia colectiva: muros de agua, imparables, incontrolables, incontenibles. Estas
son algunas de las fuerzas más poderosas del planeta. Dan forma a los continentes, riegan los
cultivos del mundo y fomentan el crecimiento de la civilización.
Otros tipos de olas han sido igualmente transformadores. Mire nuevamente la historia y
podrá verla marcada por una serie de olas metafóricas: el ascenso y la caída de imperios y
religiones, y estallidos del comercio. Piense en el cristianismo o el Islam, religiones que
comenzaron como pequeñas ondas. antes de construirse y estrellarse en grandes
extensiones de la tierra. Olas como ésta son un motivo recurrente que enmarca el flujo y
reflujo de la historia, las grandes luchas de poder y los auges y caídas económicas.
El auge y la difusión de las tecnologías también han tomado la forma de olas que cambian
el mundo. Una única tendencia predominante ha resistido la prueba del tiempo desde el
descubrimiento de las herramientas de fuego y piedra, las primeras tecnologías
aprovechadas por nuestra especie. Casi todas las tecnologías fundamentales jamás
inventadas, desde los picos hasta los arados, desde la cerámica hasta la fotografía, desde los
teléfonos hasta los aviones y todo lo demás, siguen una ley única y aparentemente inmutable:
se vuelven más baratas y más fáciles de usar y, en última instancia, proliferan por todas
partes.
Esta proliferación de tecnología en oleadas es la historia del Homo technologicus , del
animal tecnológico. La búsqueda de la humanidad por mejorar (nosotros mismos, nuestra
suerte, nuestras capacidades y nuestra influencia sobre nuestro entorno) ha impulsado una
evolución incesante de las ideas y la creación. La invención es un proceso emergente, en
desarrollo y en expansión, impulsado por inventores, académicos, empresarios y líderes
autoorganizados y altamente competitivos, cada uno de los cuales avanza con sus propias
motivaciones. Este ecosistema de invención se expande por defecto. Es la naturaleza
inherente de la tecnología.
La pregunta es, ¿qué pasa a partir de aquí? En las páginas que siguen, les contaré la
historia de la próxima gran ola de la historia.

MIRA A TU ALREDEDOR.
¿Que ves? ¿Muebles? ¿Edificios? ¿Los telefonos? ¿Alimento? ¿Un parque ajardinado? Casi
todos los objetos en su línea de visión, con toda probabilidad, han sido creados o alterados
por la inteligencia humana. El lenguaje –la base de nuestras interacciones sociales, de
nuestras culturas, de nuestras organizaciones políticas y quizás de lo que significa ser
humano– es otro producto y motor de nuestra inteligencia. Cada principio y concepto
abstracto, cada pequeño esfuerzo o proyecto creativo, cada encuentro en la vida, ha sido
mediado por la capacidad única e infinitamente compleja de imaginación, creatividad y razón
de nuestra especie. El ingenio humano es algo asombroso.
Sólo hay otra fuerza tan omnipresente en este cuadro: la vida biológica misma. Antes de
la era moderna, aparte de algunas rocas y minerales, la mayoría de los artefactos humanos
(desde casas de madera hasta ropa de algodón y fogones de carbón) procedían de cosas que
alguna vez estuvieron vivas. Todo lo que ha entrado en el mundo desde entonces fluye de
nosotros, fluye del hecho de que somos seres biológicos.
No es exagerado decir que la totalidad del mundo humano depende de los sistemas vivos
o de nuestra inteligencia. Y, sin embargo, ambos se encuentran ahora en un momento sin
precedentes de innovación y agitación exponencial, un aumento sin precedentes que dejará
pocos cambios. Una nueva ola de tecnología está empezando a estrellarse a nuestro
alrededor. Esta ola está desatando el poder para diseñar estos dos cimientos universales:
una ola de nada menos que inteligencia y vida.
La próxima ola está definida por dos tecnologías centrales: la inteligencia artificial (IA)
y la biología sintética. Juntos marcarán el comienzo de un nuevo amanecer para la
humanidad, creando riqueza y excedentes como nunca antes se habían visto. Y, sin embargo,
su rápida proliferación también amenaza con empoderar a una diversa gama de malos
actores para desatar perturbaciones, inestabilidad e incluso catástrofes en una escala
inimaginable. Esta ola crea un inmenso desafío que definirá el siglo XXI: nuestro futuro
depende de estas tecnologías y está en peligro por ellas.
Desde nuestra situación actual, parece que contener esta ola (es decir, controlarla,
frenarla o incluso detenerla) no es posible. Este libro pregunta por qué esto podría ser cierto
y qué significa si lo es. Las implicaciones de estas preguntas afectarán en última instancia a
todos los vivos y a todas las generaciones que nos sucedan.
Creo que esta próxima ola de tecnología está llevando la historia de la humanidad a un
punto de inflexión. Si contenerlo es imposible, las consecuencias para nuestra especie serán
dramáticas y potencialmente nefastas. Asimismo, sin sus frutos estamos expuestos y
precarios. Este es un argumento que he planteado muchas veces durante la última década a
puertas cerradas, pero a medida que los impactos se vuelven cada vez más inignorables, es
hora de que lo exponga públicamente.

EL DILEMA

Contemplar el profundo poder de la inteligencia humana me llevó a hacer una pregunta

simple, una que ha consumido mi vida desde entonces: ¿Qué pasaría si pudiéramos destilar
la esencia de lo que nos hace a los humanos tan productivos? y capaz en software, en un
algoritmo? Encontrar la respuesta podría desbloquear herramientas inimaginablemente
poderosas para ayudar a abordar nuestros problemas más difíciles. Aquí podría haber una
herramienta, una herramienta imposible pero extraordinaria, que nos ayude a superar los
impresionantes desafíos de las próximas décadas, desde el cambio climático hasta el
envejecimiento de la población y la alimentación sostenible.
Con esto en mente, en una pintoresca oficina de la época de la Regencia con vista a
Russell Square de Londres, cofundé una compañía llamada DeepMind con dos amigos, Demis
Hassabis y Shane Legg, en el verano de 2010. Este era nuestro objetivo, uno que en
retrospectiva Todavía me siento tan ambicioso, loco y esperanzado como entonces: replicar
aquello que nos hace únicos como especie: nuestra inteligencia.
Para lograr este objetivo, necesitaríamos crear un sistema que pudiera imitar y
eventualmente superar todas las capacidades cognitivas humanas, desde la visión y el habla
hasta la planificación y la imaginación y, en última instancia, la empatía y la creatividad. Dado
que un sistema de este tipo se beneficiaría del procesamiento paralelo masivo de
supercomputadoras y de la explosión de nuevas y enormes fuentes de datos a través de la
web abierta, sabíamos que incluso un progreso modesto hacia este objetivo tendría
profundas implicaciones sociales.
Ciertamente se sintió bastante extraño en ese momento. En aquel entonces, la adopción
generalizada de la inteligencia artificial era cosa de ensueños, más fantasía que realidad,
competencia de unos pocos académicos enclaustrados y fanáticos de la ciencia ficción con
los ojos desorbitados. Pero, mientras escribo esto y pienso en la última década, el progreso
en IA ha sido nada menos que asombroso. DeepMind se convirtió en una de las empresas de
inteligencia artificial líderes en el mundo y logró una serie de avances. La velocidad y el poder
de esta nueva revolución han sido sorprendentes incluso para aquellos de nosotros más
cercanos a su vanguardia. Mientras escribía este libro, el ritmo del progreso en IA ha sido
impresionante, con nuevos modelos y nuevos productos saliendo cada semana, a veces todos
los días. Está claro que esta ola se está acelerando.
Hoy en día, los sistemas de inteligencia artificial pueden reconocer rostros y objetos casi
perfectamente. Damos por sentado la transcripción de voz a texto y la traducción instantánea
de idiomas. La IA puede navegar por las carreteras y el tráfico lo suficientemente bien como
para conducir de forma autónoma en algunos entornos. Basándose en unas pocas
indicaciones sencillas, una nueva generación de modelos de IA puede generar imágenes
novedosas y componer texto. con extraordinarios niveles de detalle y coherencia. Los
sistemas de inteligencia artificial pueden producir voces sintéticas con un realismo
asombroso y componer música de una belleza asombrosa. Incluso en ámbitos más
desafiantes, que durante mucho tiempo se consideraron especialmente adecuados para las
capacidades humanas, como la planificación a largo plazo, la imaginación y la simulación de
ideas complejas, el progreso avanza a pasos agigantados.
La IA lleva décadas ascendiendo en la escala de las capacidades cognitivas y ahora parece
que alcanzará un rendimiento a nivel humano en una amplia gama de tareas en los próximos
tres años. Se trata de una afirmación importante, pero si estoy siquiera cerca de tener razón,
las implicaciones son realmente profundas. Lo que parecía quijotesco cuando fundamos
DeepMind se ha vuelto no sólo plausible sino aparentemente inevitable.
Desde el principio, tuve claro que la IA sería una herramienta poderosa para un bien
extraordinario pero, como la mayoría de las formas de poder, también estaría plagada de
inmensos peligros y dilemas éticos. Durante mucho tiempo me han preocupado no sólo las
consecuencias del avance de la IA, sino también hacia dónde se dirigía todo el ecosistema
tecnológico. Más allá de la IA, se estaba produciendo una revolución más amplia, en la que la
IA alimentaba una poderosa generación emergente de tecnologías genéticas y robótica. Un
mayor progreso en un área acelera las demás en un proceso caótico y catalizador cruzado
que escapa al control directo de cualquiera. Estaba claro que si nosotros u otros teníamos
éxito en replicar la inteligencia humana, esto no sería simplemente un negocio rentable como
siempre, sino un cambio sísmico para la humanidad, inaugurando una era en la que
oportunidades sin precedentes irían acompañadas de riesgos sin precedentes.
A medida que la tecnología ha avanzado a lo largo de los años, mis preocupaciones han
aumentado. ¿Qué pasa si la ola es en realidad un tsunami?

EN 2010 CASI NADIE hablaba seriamente de la IA. Sin embargo, lo que alguna vez pareció una
misión de nicho para un pequeño grupo de investigadores y empresarios ahora se ha
convertido en un vasto esfuerzo global. La IA está en todas partes, en las noticias y en su
teléfono inteligente, negociando acciones y creando sitios web. Muchas de las empresas más
grandes del mundo y de las naciones más ricas avanzan rápidamente, desarrollando modelos
de inteligencia artificial y técnicas de ingeniería genética de vanguardia, impulsados por
decenas de miles de millones de dólares en inversiones.
Una vez maduras, estas tecnologías emergentes se difundirán rápidamente, haciéndose
más baratas, más accesibles y ampliamente difundidas en todo el mundo. sociedad.
Ofrecerán nuevos avances médicos extraordinarios y avances en energía limpia, creando no
sólo nuevos negocios sino nuevas industrias y mejoras en la calidad de vida en casi todas las
áreas imaginables.
Y, sin embargo, junto con estos beneficios, la inteligencia artificial, la biología sintética y
otras formas avanzadas de tecnología producen riesgos extremos a una escala
profundamente preocupante. Podrían presentar una amenaza existencial para los Estados-
nación: riesgos tan profundos que podrían perturbar o incluso derribar el orden geopolítico
actual. Abren caminos a inmensos ciberataques potenciados por la IA, guerras
automatizadas que podrían devastar países, pandemias diseñadas y un mundo sujeto a
fuerzas inexplicables pero aparentemente omnipotentes. La probabilidad de que ocurra cada
uno puede ser pequeña, pero las posibles consecuencias son enormes. Incluso una mínima
posibilidad de que se produzcan resultados como estos requiere atención urgente.
Algunos países reaccionarán ante la posibilidad de riesgos tan catastróficos con una
forma de autoritarismo cargado de tecnología para frenar la expansión de estas nuevas
potencias. Esto requerirá enormes niveles de vigilancia junto con intrusiones masivas en
nuestra vida privada. Mantener un estricto control sobre la tecnología podría convertirse en
parte de una tendencia hacia que todo y todos sean vigilados, todo el tiempo, en un sistema
de vigilancia global distópico justificado por el deseo de protegerse contra los resultados más
extremos posibles.
Igualmente plausible es una reacción ludita. Sobrevendrán prohibiciones, boicots y
moratorias. ¿Es siquiera posible dejar de desarrollar nuevas tecnologías e introducir una
serie de moratorias? Improbable. Con su enorme valor geoestratégico y comercial, es difícil
ver cómo se persuadirá a los Estados-nación o a las corporaciones para que renuncien
unilateralmente a los poderes transformadores desatados por estos avances. Además,
intentar prohibir el desarrollo de nuevas tecnologías es en sí mismo un riesgo: las sociedades
tecnológicamente estancadas son históricamente inestables y propensas al colapso. Con el
tiempo, pierden la capacidad de resolver problemas, de progresar.
Por lo tanto, tanto buscar como no buscar nuevas tecnologías está lleno de riesgos. Las
posibilidades de salir del paso por un “camino estrecho” y evitar uno u otro resultado
(distopía tecnoautoritaria por un lado, catástrofe inducida por la apertura por el otro) se
reducen con el tiempo a medida que la tecnología se vuelve más barata y más barata.
poderosos y más omnipresentes y los riesgos se acumulan. Y, sin embargo, alejarse tampoco
es una opción. Aunque nos preocupamos por sus riesgos, necesitamos más que nunca los
increíbles beneficios de las tecnologías de la próxima ola. Éste es el dilema central: que, tarde
o temprano, una poderosa generación de tecnología conduzca a la humanidad hacia
resultados catastróficos o distópicos. Creo que éste es el gran metaproblema del siglo XXI.
Este libro describe exactamente por qué este terrible vínculo se está volviendo
inevitable y explora cómo podríamos enfrentarlo. De alguna manera necesitamos sacar lo
mejor de la tecnología, algo esencial para enfrentar un conjunto de enormes desafíos
globales, y también salir del dilema. El discurso actual sobre la ética y la seguridad de la
tecnología es inadecuado. A pesar de los numerosos libros, debates, publicaciones de blogs
y tormentas de tweets sobre tecnología, rara vez se oye algo sobre contenerla . Veo esto como
un conjunto entrelazado de mecanismos técnicos, sociales y legales que limitan y controlan
la tecnología que funciona en todos los niveles posibles: un medio, en teoría, de evadir el
dilema. Sin embargo, incluso los críticos más duros de la tecnología tienden a eludir este
lenguaje de contención dura.
Eso necesita cambiar; Espero que este libro muestre por qué y dé pistas sobre cómo.

LA TRAMPA

Unos años después de fundar DeepMind, creé una presentación de diapositivas sobre los
posibles impactos económicos y sociales a largo plazo de la IA. Al presentarme ante una
docena de los fundadores, directores ejecutivos y tecnólogos más influyentes de la industria
tecnológica en una elegante sala de juntas de la costa oeste, sostuve que la IA introdujo una
serie de amenazas que requieren respuestas proactivas. Podría conducir a invasiones
masivas de la privacidad o desencadenar un apocalipsis de desinformación. Podría
convertirse en un arma, creando un conjunto letal de nuevas armas cibernéticas,
introduciendo nuevas vulnerabilidades en nuestro mundo en red.
También subrayé el potencial de la IA para dejar sin trabajo a un gran número de
personas. Pedí a la sala que consideraran la larga historia de desplazamiento de mano de
obra de la automatización y la mecanización. Primero vienen formas más eficientes de
realizar tareas específicas, luego roles enteros se vuelven redundantes y pronto sectores
enteros requieren órdenes de magnitud menos trabajadores. En las próximas décadas,
sostuve, los sistemas de IA reemplazarían a los “intelectuales”. trabajo manual” de la misma
manera, y ciertamente mucho antes de que los robots reemplacen el trabajo físico. En el
pasado, se creaban nuevos empleos al mismo tiempo que los antiguos quedaban obsoletos,
pero ¿y si la IA pudiera simplemente hacer la mayoría de ellos también? Sugerí que había
pocos precedentes para las nuevas formas de poder concentrado que se avecinaban. Aunque
se sentían distantes, amenazas potencialmente graves se precipitaban hacia la sociedad.
En la diapositiva final mostré una imagen fija de Los Simpson. En la escena, la gente del
pueblo de Springfield se ha levantado y el elenco de personajes familiares carga hacia
adelante con garrotes y antorchas. El mensaje era claro, pero lo expliqué de todos modos.
"Las horcas están llegando", dije. Viene por nosotros, los creadores de tecnología. Depende
de nosotros garantizar que el futuro sea mejor que esto.
Alrededor de la mesa, me encontré con miradas en blanco. La habitación permaneció
impasible. El mensaje no llegó. Los despidos fueron numerosos y rápidos. ¿Por qué los
indicadores económicos no mostraron ninguna señal de lo que estaba diciendo? La IA
estimularía una nueva demanda, lo que crearía nuevos puestos de trabajo. Aumentaría y
empoderaría a las personas para que sean aún más productivas. Admitieron que tal vez había
algunos riesgos, pero no eran tan graves. La gente era inteligente. Siempre se han encontrado
soluciones. No se preocupen, parecieron pensar, pasando a la siguiente presentación.
Algunos años después, poco antes del inicio de la pandemia de COVID-19, asistí a un
seminario sobre riesgos tecnológicos en una reconocida universidad. La configuración era
similar: otra mesa grande, otra discusión altruista. A lo largo del día, una serie de riesgos
espeluznantes flotaron sobre los cafés, las galletas y los PowerPoints.
Uno se destacó. El presentador mostró cómo el precio de los sintetizadores de ADN, que
pueden imprimir cadenas de ADN personalizadas, estaba cayendo rápidamente. Cuestan
unas pocas decenas de miles de dólares y son lo suficientemente pequeños como para
colocarlos en un banco de su garaje y permitir que la gente sintetice, es decir, fabrique , ADN.
Y todo esto ahora es posible para cualquier persona con formación de posgrado en biología
o entusiasmo por el aprendizaje autodirigido en línea.
Dada la creciente disponibilidad de las herramientas, el presentador describió una
visión desgarradora: pronto alguien podría crear nuevos patógenos mucho más
transmisibles y letales que cualquier cosa que se encuentre en la naturaleza. Estos Los
patógenos sintéticos podrían evadir las contramedidas conocidas, propagarse
asintomáticamente o tener resistencia incorporada a los tratamientos. Si fuera necesario,
alguien podría complementar los experimentos caseros con ADN ordenado en línea y
reensamblado en casa. El apocalipsis, pedido por correo.
 Esto no era ciencia ficción, argumentó el presentador, un respetado profesor con más de
dos décadas de experiencia; ahora era un riesgo vivo. Terminaron con un pensamiento
alarmante: hoy en día una sola persona probablemente “tiene la capacidad de matar a mil
millones de personas”. Todo lo que se necesita es motivación.
Los asistentes se agitaron inquietos. La gente se retorcía y tosía. Entonces comenzaron
las quejas y las dudas. Nadie quería creer que esto fuera posible. Seguramente no era el caso,
seguramente tenía que haber algunos mecanismos efectivos para el control, seguramente las
enfermedades eran difíciles de crear, seguramente las bases de datos podrían bloquearse,
seguramente el hardware podría protegerse. Etcétera.
La respuesta colectiva en el seminario fue más que simplemente despectiva. La gente
simplemente se negó a aceptar la visión del presentador. Nadie quería afrontar las
implicaciones de los hechos concretos y las frías probabilidades que habían oído. Me quedé
en silencio, francamente conmocionado. Pronto terminó el seminario. Esa noche salimos
todos a cenar y seguimos charlando como de costumbre. Acabábamos de pasar un día
hablando sobre el fin del mundo, pero aún quedaba pizza para comer, chistes que contar, una
oficina a la que volver y, además, aparecía algo o alguna parte de la discusión se acababa.
seguramente estará equivocado. Me uní.
Pero la presentación me carcomió durante meses. ¿Por qué yo y todos nosotros no nos
lo tomábamos más en serio? ¿Por qué eludimos torpemente una mayor discusión? ¿Por qué
algunos se vuelven sarcásticos y acusan a las personas que plantean estas preguntas de ser
catastróficas o de “pasar por alto el sorprendente bien” de la tecnología? Esta reacción
emocional generalizada que estaba observando es algo que he llegado a llamar la trampa del
pesimismo-aversión: el análisis equivocado que surge cuando estás abrumado por el miedo
a enfrentar realidades potencialmente oscuras y la tendencia resultante a mirar para otro
lado.
Casi todo el mundo tiene alguna versión de esta reacción, y la consecuencia es que nos
lleva a pasar por alto una serie de cuestiones críticas. tendencias que se desarrollan ante
nuestros ojos. Es casi una respuesta fisiológica innata. Nuestra especie no está preparada
para afrontar verdaderamente una transformación a esta escala, y mucho menos la
posibilidad de que la tecnología nos falle de esta manera. He experimentado este sentimiento
a lo largo de mi carrera y he visto a muchos, muchos otros tener la misma respuesta visceral.
Afrontar este sentimiento es uno de los propósitos de este libro. Echar una mirada fría y dura
a los hechos, por incómodos que sean.
Abordar adecuadamente esta ola, contener la tecnología y garantizar que siempre sirva
a la humanidad significa superar la aversión al pesimismo. Significa afrontar de frente la
realidad de lo que se avecina.

ESTE LIBRO ES MI intento de hacer eso. Reconocer e iluminar los contornos de la ola que se
avecina. Explorar si es posible la contención. Para poner las cosas en un contexto histórico y
ver el panorama más amplio alejándose de la charla diaria de los bomberos sobre la
tecnología. Mi objetivo es afrontar el dilema y comprender los procesos subyacentes que
impulsan el surgimiento de la ciencia y la tecnología. Quiero presentar estas ideas lo más
claramente posible al público más amplio posible. Lo he escrito con un espíritu de apertura
e investigación: hago observaciones, sigue sus implicaciones, pero también permanezco
abierto a la refutación y a mejores interpretaciones. No hay nada que desee más que
demostrar que estoy equivocado aquí, que que la contención sea fácilmente posible.
Es comprensible que algunas personas esperen un libro más tecno-utópico de alguien
como yo, fundador de dos empresas de inteligencia artificial. Como tecnólogo y
emprendedor, soy, por defecto, optimista. Cuando era un adolescente, recuerdo haber
quedado totalmente cautivado después de instalar Netscape por primera vez en mi PC
Packard Bell 486. Me sentí fascinado por el zumbido de los ventiladores y el silbido
distorsionado de mi módem de acceso telefónico de 56 Kbps extendiendo su mano a la World
Wide Web y conectándome a foros y salas de chat que me dieron libertad y me enseñaron
tanto. Amo la tecnología. Ha sido el motor del progreso y un motivo para que estemos
orgullosos y entusiasmados con los logros de la humanidad.
Pero también creo que quienes impulsamos la creación de tecnología debemos tener el
coraje de predecir (y asumir la responsabilidad) hacia dónde nos llevará en las próximas
décadas. Debemos empezar a sugerir qué hacer si parece que existe un riesgo real de que la
tecnología nos falle. Lo que se requiere es una respuesta social y política, no simplemente
esfuerzos individuales, sino que debe comenzar con mis pares y conmigo.
Algunos dirán que todo esto es exagerado. Ese cambio es mucho más gradual. Que es
sólo otra vuelta del ciclo publicitario. Que los sistemas para afrontar las crisis y los cambios
son en realidad bastante sólidos. Que mi visión de la naturaleza humana es demasiado
oscura. Que el historial de la humanidad es, bueno, hasta ahora, muy bueno. La historia está
llena de falsos profetas y agoreros que han demostrado estar equivocados. ¿Por qué esta vez
debería ser diferente?
La aversión al pesimismo es una respuesta emocional, una negativa visceral arraigada a
aceptar la posibilidad de resultados seriamente desestabilizadores. Tiende a provenir de
quienes ocupan posiciones seguras y poderosas con visiones del mundo arraigadas,
personas que superficialmente pueden afrontar el cambio pero luchan por aceptar cualquier
desafío real a su orden mundial. Muchos de aquellos a quienes acuso de estar atrapados en
la trampa del pesimismo-aversión abrazan plenamente las crecientes críticas a la tecnología.
Pero ellos asienten sin tomar ninguna medida. Lo lograremos, siempre lo hacemos, dicen.
Si pasa tiempo en círculos tecnológicos o políticos, rápidamente se vuelve obvio que la
ideología predeterminada es la cabeza en la arena. Creer y actuar de otra manera corre el
riesgo de quedar tan paralizado por el miedo y la indignación contra fuerzas enormes e
inexorables que todo parece inútil. Así sigue retumbando el extraño semimundo intelectual
de la aversión al pesimismo. Debería saberlo, estuve atrapado en esto por mucho tiempo.
En los años transcurridos desde que fundamos DeepMind y desde esas presentaciones,
el discurso ha cambiado, hasta cierto punto. El debate sobre la automatización del trabajo se
ha ensayado innumerables veces. Una pandemia mundial mostró tanto los riesgos como la
potencia de la biología sintética. Surgió una especie de “golpe tecnológico”, con críticos
criticando a la tecnología y a las empresas tecnológicas en artículos de opinión y libros, en
las capitales regulatorias de Washington, Bruselas y Beijing. Los temores que antes existían
en torno a la tecnología explotaron en la corriente principal, aumentó el escepticismo público
hacia la tecnología y se agudizaron las críticas de la academia, la sociedad civil y la política.
 Y, sin embargo, frente a la ola que se avecina y el gran dilema, y frente a una tecno-élite
reacia al pesimismo, nada de esto es suficiente.

EL ARGUMENTO

Las olas están en todas partes de la vida humana. Éste es sólo el último. A menudo la gente
parece pensar que todavía está muy lejos, que suena tan futurista y absurdo que es sólo
territorio de unos pocos nerds y pensadores marginales, más hipérbole, más tecnocharla,
más impulsorismo. Eso es un error. Esto es real, tan real como el tsunami que surge del
océano azul abierto.
Esto no es sólo una fantasía o un ejercicio intelectual de acariciarse la barbilla. Incluso si
no está de acuerdo con mi formulación y cree que nada de esto es probable, le insto a que
siga leyendo. Sí, tengo experiencia en inteligencia artificial y estoy preparado para ver el
mundo a través de una lente tecnológica. Soy parcial cuando se trata de la cuestión de si esto
importa . Sin embargo, después de haber estado cerca de esta revolución que se estaba
desarrollando durante la última década y media, estoy convencido de que estamos en la
cúspide de la transformación más importante de nuestras vidas.
Como creador de estas tecnologías, creo que pueden ofrecer una cantidad extraordinaria
de beneficios, mejorar innumerables vidas y abordar desafíos fundamentales, desde ayudar
a desbloquear la próxima generación de energía limpia hasta producir tratamientos baratos
y eficaces para nuestros problemas médicos más difíciles. condiciones. Las tecnologías
pueden y deben enriquecer nuestras vidas; Históricamente, vale la pena repetirlo, los
inventores y empresarios detrás de ellos han sido poderosos impulsores del progreso,
mejorando los niveles de vida de miles de millones de nosotros.
Pero sin contención, todos los demás aspectos de la tecnología, cada discusión sobre sus
deficiencias éticas o los beneficios que podría aportar, son intrascendentes. Necesitamos
urgentemente respuestas irrefutables sobre cómo controlar y contener la ola que se avecina,
cómo mantener las salvaguardias y posibilidades del Estado-nación democrático, pero en
este momento nadie tiene un plan así. Este es un futuro que ninguno de nosotros desea, pero
temo que sea cada vez más probable, y explicaré por qué en los capítulos siguientes.
En la parte 1, analizamos la larga historia de la tecnología y cómo se propaga: olas que
se acumulan a lo largo de milenios. ¿Qué los impulsa? ¿Qué los hace verdaderamente
generales? También preguntamos si hay ejemplos de sociedades que conscientemente digan
no a una nueva tecnología. En lugar de dar la espalda Desde el punto de vista de las
tecnologías, el pasado está marcado por un patrón pronunciado de proliferación, que dio
lugar a cadenas extensas de consecuencias tanto deseadas como no deseadas.
Yo llamo a esto "el problema de la contención". ¿Cómo podemos controlar las tecnologías
más valiosas jamás inventadas a medida que se vuelven más baratas y se difunden más
rápido que cualquier otra en la historia?
La parte 2 entra en los detalles de la ola que se avecina. En su núcleo se encuentran dos
tecnologías de propósito general de inmensa promesa, poder y peligro: la inteligencia
artificial y la biología sintética. Ambos han sido anunciados durante mucho tiempo y, sin
embargo, creo que a menudo todavía se subestima el alcance de su impacto. A su alrededor
crecen una serie de tecnologías asociadas, como la robótica y la computación cuántica, cuyo
desarrollo se cruzará de maneras complejas y turbulentas.
En esta sección, analizamos no sólo cómo surgieron y qué pueden hacer, sino también
por qué son tan difíciles de contener. Las diversas tecnologías de las que hablo comparten
cuatro características clave que explican por qué esto no es lo mismo de siempre: son
inherentemente generales y, por lo tanto, omniusos, hiperevolucionan, tienen impactos
asimétricos y, en algunos aspectos, son cada vez más autónomos.
Su creación está impulsada por poderosos incentivos: competencia geopolítica,
recompensas financieras masivas y una cultura de investigación abierta y distribuida.
Decenas de actores estatales y no estatales se apresurarán a desarrollarlos
independientemente de los esfuerzos por regular y controlar lo que se avecina, asumiendo
riesgos que afectan a todos, nos guste o no.
La tercera parte explora las implicaciones políticas de una colosal redistribución del
poder engendrada por una ola incontenida. La base de nuestro orden político actual (y el
actor más importante en la contención de las tecnologías) es el Estado-nación. Ya sacudido
por las crisis, se verá aún más debilitado por una serie de shocks amplificados por la ola: el
potencial de nuevas formas de violencia, una avalancha de información errónea, la
desaparición de empleos y la perspectiva de accidentes catastróficos.
Más lejos, la ola forzará una serie de cambios tectónicos en el poder, centralizadores y
descentralizadores al mismo tiempo. Esto creará enormes empresas nuevas, reforzará el
autoritarismo y, sin embargo, también empoderará a grupos y movimientos para vivir fuera
de las estructuras sociales tradicionales. El La delicada negociación del Estado-nación se verá
sometida a una inmensa tensión justo cuando más necesitamos instituciones como esta. Así
es como terminamos en el dilema.
En la parte 4, la discusión pasa a qué podemos hacer al respecto. ¿Existe siquiera una
mínima posibilidad de contención, de salir del dilema? ¿Si es así, cómo? En esta sección
esbozamos diez pasos, que van desde el nivel del código y el ADN hasta el nivel de los
tratados internacionales, formando un conjunto estricto y anidado de limitaciones, un
esquema de plan de contención.

ESTE ES UN LIBRO sobre cómo afrontar el fracaso. Las tecnologías pueden fallar en el sentido
mundano de no funcionar: el motor no arranca; el puente se cae. Pero también pueden
fracasar en un sentido más amplio. Si la tecnología daña vidas humanas, produce sociedades
llenas de daño, o las vuelve ingobernables porque empoderamos a una larga cola caótica de
actores malos (o involuntariamente peligrosos) (si, en conjunto, la tecnología es dañina),
entonces se puede decir que tiene fracasó en otro sentido más profundo, al no cumplir su
promesa. El fracaso en este sentido no es intrínseco a la tecnología; se trata del contexto
dentro del cual opera, las estructuras de gobernanza a las que está sujeto, las redes de poder
y los usos a los que se le asigna.
Ese ingenio impresionante que ha dado origen a tantas cosas ahora significa que somos
mejores para evitar el primer tipo de fracaso. Se estrellan menos aviones, los coches son más
limpios y seguros, los ordenadores son más potentes y, sin embargo, más seguros. Nuestro
gran desafío es que todavía no hemos tenido en cuenta esta última forma de fracaso.
A lo largo de siglos, la tecnología ha aumentado drásticamente el bienestar de miles de
millones de personas. Estamos inmensamente más sanos gracias a la medicina moderna, la
mayor parte del mundo vive en abundancia de alimentos, la gente nunca ha sido más
educada, más pacífica o más cómoda materialmente. Estos son logros definitorios
producidos en parte por ese gran motor de la humanidad: la ciencia y la creación de
tecnología. Es por eso que he dedicado mi vida a desarrollar estas herramientas de manera
segura.
Pero cualquier optimismo que extraigamos de esta extraordinaria historia debe basarse
en una cruda realidad. Protegerse contra el fracaso significa comprender y, en última
instancia, afrontar lo que puede salir mal. Necesitamos seguir la cadena de razonamiento
hasta su punto final lógico, sin temor a dónde eso podría conducirnos y, cuando lleguemos
allí, hacer algo al respecto. La próxima ola de tecnologías amenaza con fallar más rápido y en
una escala más amplia que cualquier cosa vista antes. Esta situación necesita atención
popular en todo el mundo. Necesita respuestas, respuestas que nadie tiene todavía.
La contención no es, a primera vista, posible. Y, sin embargo, por el bien de todos, la
contención debe ser posible.
 PARTE I

HOMO
TECNOLOGICO
 CAPITULO 2

PROLIFERACIÓN SIN FIN

EL MOTOR

Durante LA MAYOR PARTE DE LA HISTORIA, PARA la mayoría de las personas, el transporte

personal significó una cosa: caminar. O si tenías suerte, dos: ser llevado o tirado por caballos,
bueyes, elefantes u otras bestias de carga. Simplemente moverse entre asentamientos
vecinos (olvidándose de los continentes) era difícil y lento.
A principios del siglo XIX, el ferrocarril revolucionó el transporte, su mayor innovación
en miles de años, pero la mayoría de los viajes nunca pudieron realizarse en ferrocarril, y los
que sí pudieron realizarse no fueron muy personalizados. Los ferrocarriles dejaron una cosa
clara: los motores eran el futuro. Las máquinas de vapor capaces de propulsar vagones de
ferrocarril requerían enormes calderas externas. Pero si pudieras reducirlos a un tamaño
manejable y portátil, tendrías medios radicalmente nuevos para que las personas se
desplacen.
Los innovadores probaron varios enfoques. Ya en el siglo XVIII, un inventor francés
llamado Nicolas-Joseph Cugnot construyó una especie de automóvil propulsado por vapor.
Avanzaba a una majestuosa velocidad de dos millas por hora y presentaba una enorme
caldera colgante colgando del frente. En 1863, el inventor belga Jean Joseph Étienne Lenoir
impulsó el primer vehículo con motor de combustión interna y lo condujo a siete millas de
París. Pero el motor era pesado y la velocidad limitada. Otros experimentaron con la
electricidad y el hidrógeno. Nada se estaba popularizando, pero el sueño del transporte
personal autopropulsado persistía.
Luego las cosas empezaron a cambiar, al principio lentamente. un ingeniero alemán
llamado Nicolaus August Otto pasó años trabajando en un motor de gas, mucho más pequeño
que un motor de vapor. En 1876, en una fábrica de Deutz AG en Colonia, Otto produjo el
primer motor de combustión interna funcional, el modelo de “cuatro tiempos”. Estaba listo
para la producción en masa, pero no antes de que Otto se peleara con sus socios comerciales,
Gottlieb Daimler y Wilhelm Maybach. Otto quería utilizar su motor en entornos estacionarios
como bombas de agua o fábricas. Sus socios habían visto otro uso para los motores cada vez
más potentes: el transporte.
Sin embargo, fue otro ingeniero alemán, Carl Benz, quien los superó. Utilizando su
versión de un motor de combustión interna de cuatro tiempos, en 1886 patentó el
Motorwagen, ahora considerado el primer automóvil propiamente dicho del mundo. Este
extraño artilugio de tres ruedas debutó ante un público escéptico. Sólo cuando la esposa y
socia comercial de Benz, Bertha, condujo el coche desde Mannheim hasta la casa de su madre,
a sesenta y cinco millas de distancia, en Pforzheim, que el coche empezó a tener éxito. Ella
supuestamente lo tomó sin que él lo supiera, repostándolo en el camino con un solvente
comprado en las farmacias locales.
Había amanecido una nueva era. Pero los automóviles, y los motores de combustión
interna que los impulsaban, seguían siendo excesivamente caros, fuera del alcance de todos
excepto de los más ricos. Aún no existía ninguna red de carreteras ni estaciones de servicio.
En 1893, Benz había vendido unos miserables 69 vehículos; en 1900, sólo 1.709. Veinte años
después de la patente de Benz, todavía circulaban por las carreteras alemanas sólo 35.000
vehículos.
El punto de inflexión fue el Modelo T de 1908 de Henry Ford. Su vehículo simple pero
eficaz se construyó utilizando un enfoque revolucionario: la línea de montaje en movimiento.
Un proceso eficiente, lineal y repetitivo le permitió reducir el precio de los vehículos
personales, y los compradores lo siguieron. La mayoría de los coches en aquella época
costaban alrededor de 2.000 dólares. Ford le puso el precio del suyo en 850 dólares.
En los primeros años, las ventas del Modelo T ascendían a miles. Ford siguió
aumentando la producción y bajando aún más los precios, argumentando: "Cada vez que
reduzco el precio de nuestro automóvil en un dólar, consigo mil nuevos compradores". En la
década de 1920, Ford vendía millones de automóviles cada año. Los estadounidenses de
clase media pudieron, por primera vez, permitirse el lujo de un transporte motorizado. Los
automóviles proliferaron a inmensa velocidad. En 1915, sólo el 10 por ciento de los
estadounidenses tenía un automóvil; en 1930 esta cifra había alcanzado un sorprendente 59
por ciento.
Hoy en día hay unos 2.000 millones de motores de combustión en todo tipo de vehículos,
desde cortadoras de césped hasta buques portacontenedores. Alrededor de 1.400 millones
de ellos viajan en automóviles. Se han vuelto cada vez más accesibles, eficientes, potentes y
adaptables. A su alrededor se desarrolló toda una forma de vida, posiblemente toda una
civilización, desde los suburbios en expansión hasta las granjas industriales, los restaurantes
de autoservicio y la cultura de la modificación del automóvil. Se construyeron grandes
carreteras, a veces atravesando ciudades, separando barrios pero conectando regiones
remotas. La noción anteriormente desafiante de trasladarse de un lugar a otro en busca de
prosperidad o diversión se convirtió en una característica habitual de la vida humana.
Los motores no sólo impulsaban vehículos; estaban impulsando la historia. Ahora,
gracias al hidrógeno y a los motores eléctricos, el reinado del motor de combustión está en
su ocaso. Pero la era de movilidad masiva que desató no lo es.
Todo esto habría parecido imposible a principios del siglo XIX, cuando el transporte
autopropulsado todavía era cosa de soñadores que jugaban con fuego, volantes y trozos de
metal. Pero a partir de esos primeros retoques comenzó una maratón de invención y
producción que transformó el mundo. Una vez que hubo impulso, la expansión del motor de
combustión interna se volvió imparable. De unos pocos talleres alemanes empapados de
aceite surgió una tecnología que ha afectado a todos los seres humanos del planeta.
Sin embargo, esto no es sólo una historia de motores y coches. Es la historia de la
tecnología misma.
 ONDAS DE PROPÓSITO GENERAL:
EL RITMO DE LA HISTORIA

La tecnología tiene una trayectoria clara e inevitable: la difusión masiva en grandes olas
turbulentas. Esto es cierto desde las primeras herramientas de pedernal y hueso hasta los
últimos modelos de IA. A medida que la ciencia produce nuevos descubrimientos, la gente
aplica estos conocimientos para producir alimentos más baratos, mejores bienes y
transporte más eficiente. Con el tiempo, crece la demanda de los mejores productos y
servicios nuevos, lo que impulsa la competencia para producir versiones más baratas
repletas de aún más funciones. Esto, a su vez, impulsa aún más la demanda de las tecnologías
que las crean, y también se vuelven más fáciles y más baratas de obtener. usar. Los costos
siguen cayendo. Las capacidades aumentan. Experimente, repita, use. Crecer, mejorar,
adaptarse. Ésta es la ineludible naturaleza evolutiva de la tecnología.
Estas olas de tecnología e innovación están en el centro de este libro. Más importante
aún, están en el centro de la historia humana. Si se comprenden estas olas complejas, caóticas
y acumulativas, el desafío de la contención se vuelve claro. Entendamos su historia y
podremos empezar a esbozar su futuro.
Entonces, ¿qué es una onda? En pocas palabras, una ola es un conjunto de tecnologías
que se unen aproximadamente al mismo tiempo, impulsadas por una o varias tecnologías
nuevas de propósito general con profundas implicaciones sociales. Por “tecnologías de
propósito general” me refiero a aquellas que permiten avances sísmicos en lo que los seres
humanos pueden hacer. La sociedad se desarrolla en sintonía con estos saltos. Lo vemos una
y otra vez; una nueva pieza de tecnología, como el motor de combustión interna, prolifera y
transforma todo a su alrededor.
La historia humana se puede contar a través de estas ondas: nuestra evolución desde ser
primates vulnerables que se ganaban la vida a duras penas en la sabana hasta convertirnos,
para bien o para mal, en la fuerza dominante del planeta. Los humanos somos una especie
innatamente tecnológica. Desde el principio, nunca estamos separados de las olas de
tecnología que creamos. Evolucionamos juntos, en simbiosis.
Las primeras herramientas de piedra datan de hace tres millones de años, mucho antes
de los albores del Homo sapiens, como lo demuestran los martillos de piedra maltratados y
los cuchillos rudimentarios. El sencillo hacha de mano forma parte de la primera ola
tecnológica de la historia. Se podía matar a los animales de manera más eficiente, masacrar
los cadáveres y luchar contra los rivales. Con el tiempo, los primeros humanos aprendieron
a manipular estas herramientas con precisión, lo que dio lugar a la costura, la pintura, el
tallado y la cocina.
Otra ola fue igualmente crucial: el fuego. Utilizado por nuestro antepasado Homo erectus,
era una fuente de luz, calor y seguridad contra los depredadores. Tuvo un impacto
pronunciado en la evolución: cocinar alimentos significó una liberación más rápida de su
energía, lo que permitió que el tracto digestivo humano se contrajera y el cerebro se
agrandara. Nuestros antepasados, cuyas fuertes mandíbulas limitaban el crecimiento del
cráneo, pasaban su tiempo masticando y digiriendo alimentos sin descanso, como los
primates actuales. Liberados de esta necesidad mundana por el fuego, podrían dedicar más
tiempo a cosas interesantes como cazar. alimentos ricos en energía, crear herramientas o
construir redes sociales complejas. La fogata se convirtió en un centro central de la vida
humana, ayudando a establecer comunidades y relaciones y organizando el trabajo. La
evolución del Homo sapiens se montó en estas olas. No somos sólo los creadores de nuestras
herramientas. Somos, hasta el nivel biológico, anatómico, un producto de ellos.
La mampostería y el fuego eran tecnologías protode uso general, lo que significa que
eran omnipresentes y, a su vez, permitían nuevos inventos, bienes y comportamientos
organizativos. Las tecnologías de propósito general se extienden a lo largo de las sociedades,
las geografías y la historia. Abren ampliamente las puertas de la invención, permitiendo
decenas de herramientas y procesos posteriores. A menudo se basan en algún tipo de
principio de propósito general, ya sea el poder del vapor para realizar un trabajo o la teoría
de la información detrás del código binario de una computadora.
La ironía de las tecnologías de propósito general es que, en poco tiempo, se vuelven
invisibles y las damos por sentado. El lenguaje, la agricultura, la escritura: cada una de ellas
fue una tecnología de propósito general en el centro de una de las primeras olas. Estas tres
oleadas formaron la base de la civilización tal como la conocemos. Ahora los damos por
sentado. Un importante estudio fijó en sólo veinticuatro el número de tecnologías de
propósito general que han surgido a lo largo de toda la historia de la humanidad, nombrando
inventos que van desde la agricultura, el sistema fabril, el desarrollo de materiales como el
hierro y el bronce, hasta las imprentas. , electricidad y por supuesto internet. No hay muchos
de ellos, pero son importantes; es por eso que en la imaginación popular todavía utilizamos
términos como Edad del Bronce y Edad de la Vela.
A lo largo de la historia, el tamaño de la población y los niveles de innovación están
vinculados. Nuevas herramientas y técnicas dan lugar a poblaciones más grandes. Las
poblaciones más grandes y más conectadas son crisoles más potentes para los retoques, la
experimentación y los descubrimientos fortuitos, un “cerebro colectivo” más poderoso para
crear cosas nuevas. Las poblaciones grandes dan lugar a mayores niveles de especialización,
nuevas clases de personas como artesanos y eruditos cuyo sustento no está ligado a la tierra.
Más personas cuyas vidas no giran en torno a la subsistencia significan más posibles
inventores y más posibles razones para tener invenciones, y esas invenciones significan a su
vez más personas. Desde las primeras civilizaciones, como Uruk en Desde Mesopotamia,
desde la cuna de la escritura cuneiforme, el primer sistema de escritura conocido, hasta las
megalópolis actuales, las ciudades han impulsado el desarrollo tecnológico. Y más tecnología
significaba más ciudades (y más grandes). En los albores de la Revolución Agrícola, la
población humana mundial ascendía a sólo 2,4 millones. Al comienzo de la Revolución
Industrial, se acercaba a los mil millones, un aumento de cuatrocientas veces que se debió a
las olas del período intermedio.
La Revolución Agrícola (9000 –7500 a. C.), una de las oleadas más importantes de la
historia, marcó la llegada de dos tecnologías masivas de propósito general que gradualmente
reemplazaron el modo de vida nómada de cazadores-recolectores: la domesticación de
plantas y animales. Estos avances cambiaron no sólo la forma en que se encontraban los
alimentos, sino también la forma en que se podían almacenar, cómo funcionaría el transporte
y la escala misma a la que podía operar una sociedad. Los primeros cultivos como el trigo, la
cebada, las lentejas, los garbanzos y los guisantes y animales como los cerdos, las ovejas y las
cabras quedaron sujetos al control humano. Con el tiempo, esto se sumó a una nueva
revolución en las herramientas: azadas y arados. Estas simples innovaciones marcaron el
comienzo de las civilizaciones modernas.
Cuantas más herramientas tenga, más podrá hacer y más podrá imaginar nuevas
herramientas y procesos más allá de ellas. Como señala el antropólogo de Harvard Joseph
Henrich, la rueda llegó sorprendentemente tarde a la vida humana. Pero una vez inventado,
se convirtió en la piedra angular de todo, desde carros y carros hasta molinos, prensas y
volantes. Desde la palabra escrita hasta los veleros, la tecnología aumenta la interconexión,
ayudando a impulsar su propio flujo y difusión. Por lo tanto, cada ola sienta las bases para
olas sucesivas.
Con el tiempo, esta dinámica se aceleró. A partir de la década de 1770 en Europa, la
primera ola de la Revolución Industrial combinó la energía del vapor, los telares
mecanizados, el sistema fabril y los canales. En la década de 1840 llegó la era de los
ferrocarriles, los telégrafos y los barcos de vapor, y un poco más tarde el acero y las máquinas
herramienta; juntos formaron la Primera Revolución Industrial. Luego, apenas unas décadas
más tarde, llegó la Segunda Revolución Industrial. Estará familiarizado con sus mayores
éxitos: el motor de combustión interna, la ingeniería química, el vuelo propulsado y la
electricidad. El vuelo necesitaba combustión, y la producción en masa de motores de
combustión exigía acero y máquinas herramienta, etc. Empezando con Durante la
Revolución Industrial, los inmensos cambios se midieron en décadas en lugar de siglos o
milenios.
Sin embargo, éste no es un proceso ordenado. Las olas tecnológicas no llegan con la clara
previsibilidad de las mareas. A largo plazo, las ondas se cruzan y se intensifican de forma
errática. En los diez mil años hasta el año 1000 a. C. surgieron siete tecnologías de propósito
general. Los doscientos años transcurridos entre 1700 y 1900 marcaron la llegada de seis,
desde las máquinas de vapor hasta la electricidad. Y sólo en los últimos cien años hubo siete.
Consideremos que los niños que crecieron viajando a caballo y en carro y quemando leña
para calentarse a finales del siglo XIX pasaron sus últimos días viajando en avión y viviendo
en casas calentadas por la división del átomo.
Las ondas (pulsantes, emergentes, sucesivas, compuestas y de polinización cruzada)
definen el horizonte de posibilidades tecnológicas de una era. Son parte de nosotros. No
existe un ser humano no tecnológico.
Esta concepción de la historia como una serie de oleadas de innovación no es nueva. En
los debates sobre tecnología se repiten grupos secuenciales y disruptivos de tecnologías.
Para el futurista Alvin Toffler, la revolución de la tecnología de la información fue una
“tercera ola” en la sociedad humana después de las revoluciones agrícola e industrial. Joseph
Schumpeter vio las olas como explosiones de innovación que encendieron nuevos negocios
en estallidos de “destrucción creativa”. El gran filósofo de la tecnología Lewis Mumford creía
que la “era de las máquinas” era en realidad más bien un desarrollo de mil años de tres
grandes oleadas sucesivas. Más recientemente, la economista Carlota Pérez ha hablado de
que los “paradigmas tecnoeconómicos” cambian rápidamente en medio de las revoluciones
tecnológicas. Momentos de disrupción en auge y especulación salvaje reestructuran las
economías. De repente, todo depende de los ferrocarriles, los automóviles o los
microprocesadores. Con el tiempo, la tecnología madura, se integra y está ampliamente
disponible.
 La mayoría de la gente en tecnología está atrapada en las minucias de hoy y sueña con
el mañana. Es tentador pensar en inventos en momentos discretos y afortunados. Pero si lo
hace, se perderá los crudos patrones de la historia, la tendencia absoluta, casi innata, de las
ondas de la tecnología a aparecer una y otra vez.

LA PROLIFERACIÓN ES EL DEFECTO

Durante la mayor parte de la historia vivida, la proliferación de nuevas tecnologías fue rara.
La mayoría de los humanos nacieron, vivieron y murieron rodeados por el mismo conjunto
de herramientas y tecnologías. Sin embargo, si nos alejamos, queda claro que la proliferación
es la opción predeterminada.
Las tecnologías de propósito general se convierten en olas cuando se difunden
ampliamente. Sin una difusión global épica y casi descontrolada, no es una ola; Es una
curiosidad histórica. Sin embargo, una vez que comienza la difusión, el proceso resuena a lo
largo de la historia, desde la expansión de la agricultura por toda la masa continental
euroasiática hasta la lenta dispersión de los molinos de agua del Imperio Romano por toda
Europa. Una vez que una tecnología gana terreno, una vez que comienza a formarse una ola,
el patrón histórico que vimos con los automóviles es claro.
Cuando Gutenberg inventó la imprenta alrededor de 1440, solo había un ejemplo en
Europa: su original en Maguncia, Alemania. Pero apenas cincuenta años después, mil
imprentas se extendieron por todo el continente. Los propios libros, una de las tecnologías
más influyentes de la historia, se multiplicaron a una velocidad explosiva. En la Edad Media,
la producción de manuscritos era del orden de cientos de miles por país importante por siglo.
Cien años después de Gutenberg, países como Italia, Francia y Alemania produjeron
alrededor de 40 millones de libros cada medio siglo, y el ritmo de aceleración seguía
aumentando. En el siglo XVII, Europa imprimió 500 millones de libros. A medida que la
demanda se disparó, los costos se desplomaron. Un análisis estima que la introducción de la
imprenta en el siglo XV provocó una disminución de 340 veces en el precio de un libro, lo
que impulsó aún más la adopción y aún más la demanda.
O tomar electricidad. Las primeras centrales eléctricas debutaron en Londres y Nueva
York en 1882, Milán y San Petersburgo en 1883 y Berlín en 1884. A partir de ahí, su
implantación se aceleró. En 1900, el 2 por ciento de la producción de combustibles fósiles se
dedicaba a la producción de electricidad, en 1950 superaba el 10 por ciento y en 2000
alcanzaba más del 30 por ciento. En 1900, la generación mundial de electricidad era de 8
teravatios-hora; cincuenta años después estaba en 600, impulsando una economía
transformada.
El economista ganador del Premio Nobel William Nordhaus calculó que la misma
cantidad de trabajo que alguna vez produjo cincuenta y cuatro minutos de luz de calidad en
el siglo XVIII ahora produce más de cincuenta años de luz. Como resultado, la persona
promedio en el siglo XXI tiene acceso a aproximadamente 438.000 veces más “lúmenes-
hora” por año que nuestros primos del siglo XVIII.
No sorprende que las tecnologías de consumo muestren una tendencia similar.
Alexander Graham Bell introdujo el teléfono en 1876. En 1900, Estados Unidos tenía 600.000
teléfonos. Diez años después eran 5,8 millones. Hoy Estados Unidos tiene muchos más
teléfonos que personas.
En este panorama, el aumento de la calidad se une a la disminución de los precios. Un
televisor primitivo que costaba 1.000 dólares en 1950 costaría sólo 8 dólares en 2023,
aunque, por supuesto, los televisores de hoy son infinitamente mejores y, por tanto, cuestan
más. Se pueden encontrar curvas de precios (y adopción) casi idénticas para automóviles,
microondas o lavadoras. De hecho, en los siglos XX y XXI se produjo una adopción
notablemente consistente de nuevos productos electrónicos de consumo. Una y otra vez, el
patrón es inconfundible.
La proliferación es catalizada por dos fuerzas: la demanda y la consiguiente disminución
de los costos, cada una de las cuales impulsa a que la tecnología sea aún mejor y más barata.
El largo e intrincado diálogo entre la ciencia y la tecnología produce una cadena de
conocimientos, avances y herramientas que construyen y refuerzan con el tiempo
recombinaciones productivas que impulsan el futuro. A medida que se obtiene más
tecnología y más barata, se habilitan tecnologías posteriores más baratas. Uber era imposible
sin el teléfono inteligente, que a su vez funcionaba con GPS, satélites, cohetes, técnicas de
combustión, lenguaje y fuego.
Por supuesto, detrás de los avances tecnológicos están las personas. Trabajan para
mejorar la tecnología en talleres, laboratorios y garajes, motivados por el dinero, la fama y, a
menudo, el conocimiento mismo. Los tecnólogos, innovadores y emprendedores mejoran
haciendo y, fundamentalmente, copiando. Desde el arado superior de tu enemigo hasta los
últimos teléfonos móviles, la copia es un factor fundamental de difusión. El mimetismo
estimula la competencia y las tecnologías mejoran aún más. Las economías de escala entran
en acción y reducen los costos.
El apetito de la civilización por tecnologías útiles y más baratas es ilimitado. Esto no
cambiará.

DE LOS TUBOS DE VACÍO A LOS NANOMETROS:

TURBOPROLIFERACIÓN

Si desea tener una idea de lo que vendrá a continuación, considere los cimientos de la última
ola madura. Desde el principio, las computadoras fueron impulsadas por las matemáticas de
nueva frontera, así como por las urgencias del conflicto entre grandes potencias.
Al igual que el motor de combustión interna, la informática comenzó como material de
oscuros artículos académicos y retoques de laboratorio. Luego vino la guerra. En la década
de 1940, Bletchley Park, el centro ultrasecreto de descifrado de códigos de la Segunda Guerra
Mundial en Gran Bretaña, comenzó a fabricar una verdadera computadora por primera vez.
En su carrera para descifrar las máquinas Enigma supuestamente irrompibles de Alemania,
un equipo extraordinario convirtió conocimientos teóricos en un dispositivo práctico capaz
de hacer precisamente eso.
Otros también estaban en el caso. En 1945, se desarrolló en la Universidad de
Pensilvania un importante precursor de las computadoras llamado ENIAC, un gigante de dos
metros y medio de alto con dieciocho mil tubos de vacío capaz de realizar trescientas
operaciones por segundo. Bell Labs inició otro avance significativo en 1947: el transistor, un
semiconductor que crea "puertas lógicas" para realizar cálculos. Este tosco dispositivo,
compuesto por un clip, un trozo de lámina de oro y un cristal de germanio que podía
conmutar señales electrónicas, sentó las bases de la era digital.
Al igual que con los automóviles, para los observadores contemporáneos no era en
absoluto obvio que la informática se propagaría rápidamente. A finales de los años 40
todavía existían unos pocos dispositivos. A principios de esa década, el presidente de IBM,
Thomas J. Watson, supuestamente (y notoriamente) había dicho: "Creo que hay un mercado
mundial para unas cinco computadoras". La revista Popular Mechanics hizo un pronóstico
típico de su época en 1949: “Las computadoras en el futuro pueden tener sólo 1.000 tubos
de vacío”, argumentó, “y tal vez pesar sólo 1½ toneladas”. Una década después de Bletchley,
todavía había sólo cientos de computadoras en todo el mundo.
Sabemos lo que pasó después. La informática transformó la sociedad más rápido de lo
que nadie predijo y proliferó más rápido que cualquier invento en la historia de la
humanidad. Robert Noyce inventó el circuito integrado en Fairchild Semiconductor a finales
de los años cincuenta y sesenta, imprimiendo múltiples transistores en obleas de silicio para
producir lo que se dio en llamar chips de silicio. Poco después, un investigador llamado
Gordon Moore propuso su “ley” del mismo nombre: cada veinticuatro meses, el número de
transistores en un chip se duplicaría. Eso implicaba que los chips, y por extensión el mundo
de la tecnología digital y computacional, estarían sujetos a la curva ascendente de un proceso
exponencial.
Los resultados son asombrosos. Desde principios de la década de 1970, el número de
transistores por chip se ha multiplicado por diez millones. Su poder ha aumentado en diez
órdenes de magnitud: una mejora de diecisiete mil millones de veces. Fairchild Semiconductor
vendió cien transistores a 150 dólares cada uno en 1958. Actualmente se producen
transistores a decenas de billones por segundo, a milmillonésimas de dólar por transistor: la
proliferación más rápida y extensa de la historia.
Y, por supuesto, este aumento en el poder computacional apuntaló un florecimiento de
dispositivos, aplicaciones y usuarios. A principios de los años 1970 había alrededor de medio
millón de computadoras. En 1983, solo 562 computadoras en total estaban conectadas a
Internet primordial. Actualmente, el número de ordenadores, teléfonos inteligentes y
dispositivos conectados se estima en 14.000 millones. A los teléfonos inteligentes les llevó
algunos años pasar de ser un producto de nicho a ser un artículo absolutamente esencial
para dos tercios del planeta.
Con esta ola llegaron el correo electrónico, las redes sociales y los vídeos en línea: cada
uno de ellos una experiencia fundamentalmente nueva habilitada por el transistor y otra
tecnología de uso general, Internet. Así es como se ve la proliferación tecnológica pura e
incontenida. Creó una proliferación aún más alucinante: los datos, que aumentaron veinte
veces sólo en la década 2010-2020. Hace apenas unas décadas, el almacenamiento de datos
era dominio de los libros y los archivos polvorientos. Ahora los humanos producen cientos
de miles de millones de correos electrónicos, mensajes, imágenes y vídeos diariamente y los
almacenan en la nube. Cada minuto de cada día se añaden dieciocho millones de gigabytes
de datos a la suma global.
Estas tecnologías consumen, moldean, distorsionan y enriquecen miles de millones de
horas de vida humana en bruto. Dominan nuestros negocios y nuestro tiempo libre. Ocupan
nuestras mentes y cada rincón de nuestro mundo, desde refrigeradores, temporizadores,
puertas de garaje y audífonos hasta turbinas eólicas. Forman la arquitectura misma de la
vida moderna. Nuestros teléfonos son lo primero que vemos por la mañana y lo último por
la noche. Todos los aspectos de la vida humana se ven afectados: nos ayudan a encontrar el
amor y nuevos amigos mientras impulsan las cadenas de suministro. Influyen en quién
recibe elegidos y cómo, dónde se invierte nuestro dinero, la autoestima de nuestros hijos,
nuestros gustos musicales, nuestra moda, nuestra comida y todo lo demás.
Alguien del mundo de la posguerra quedaría asombrado por la escala y el alcance de lo
que parecía una tecnología de nicho. La notable capacidad de la informática para difundirse
y mejorar a ritmos exponenciales, para entrar y abarcar casi todos los aspectos de la vida, se
ha convertido en el hecho dominante de la civilización contemporánea. Ninguna ola anterior
se ha multiplicado tan rápidamente, pero el patrón histórico se repite. Al principio parece
imposible e inimaginable. Entonces parece inevitable. Y cada ola se hace aún más grande y
más fuerte.

ES FÁCIL PERDERSE en los detalles, pero si das un paso atrás podrás ver las olas ganando
velocidad, alcance, accesibilidad y consecuencias. Una vez que cobran impulso, rara vez se
detienen. Difusión masiva, proliferación cruda y desenfrenada: este es el defecto histórico de
la tecnología, lo más parecido a un estado natural. Piense en la agricultura, el trabajo en
bronce, la imprenta, el automóvil, la televisión, el teléfono inteligente y el resto. Existen
entonces lo que parecen ser leyes de la tecnología, algo así como un carácter inherente,
propiedades emergentes que resisten la prueba del tiempo.
La historia nos dice que la tecnología se difunde, inevitablemente, con el tiempo a casi
todas partes, desde las primeras fogatas hasta los fuegos del cohete Saturno V, desde las
primeras letras garabateadas hasta el texto interminable de Internet. Los incentivos son
abrumadores. Las capacidades se acumulan; las eficiencias aumentan. Las olas se vuelven
más rápidas y con mayores consecuencias. El acceso a la tecnología crece a medida que se
abarata. La tecnología prolifera, y con cada ola sucesiva esa proliferación se acelera y penetra
más profundamente, incluso cuando la tecnología se vuelve más poderosa.
Esta es la norma histórica de la tecnología. Al mirar hacia el futuro, esto es lo que
podemos esperar.
¿O podemos?
 CAPÍTULO 3

EL PROBLEMA DE LA CONTENCIÓN
EFECTOS DE VENGANZA

Algo que L AN TURING Y GORDON MOORE nunca podrían haber predicho, y mucho menos
alterado, el auge de las redes sociales, los memes, Wikipedia o los ciberataques. Décadas
después de su invención, los arquitectos de la bomba atómica no pudieron detener una
guerra nuclear más de lo que Henry Ford pudo detener un accidente automovilístico. El
desafío inevitable de la tecnología es que sus creadores pierden rápidamente el control sobre
el camino que toman sus inventos una vez introducidos en el mundo.
La tecnología existe en un sistema complejo y dinámico (el mundo real), donde las
consecuencias de segundo, tercer y enésimo orden se desarrollan de manera impredecible.
Lo que en el papel parece impecable puede comportarse de manera diferente en el exterior,
especialmente cuando se copia y se adapta posteriormente. Lo que la gente realmente haga
con su invento, por muy bien intencionado que sea, nunca se puede garantizar. Thomas
Edison inventó el fonógrafo para que la gente pudiera registrar sus pensamientos para la
posteridad y para ayudar a los ciegos. Se horrorizó cuando la mayoría de la gente sólo quería
tocar música. Alfred Nobel pretendía que sus explosivos se utilizaran únicamente en la
minería y la construcción de ferrocarriles.
Gutenberg sólo quería ganar dinero imprimiendo Biblias. Sin embargo, su prensa
catalizó la Revolución Científica y la Reforma, y así se convirtió en la mayor amenaza para la
Iglesia Católica desde su creación. Los fabricantes de frigoríficos no se propusieron crear un
agujero en la capa de ozono con clorofluorocarbonos (CFC), del mismo modo que los
creadores de los motores de combustión interna y de los aviones a reacción no pensaron en
derretir los casquetes polares. De hecho Los primeros entusiastas de los automóviles
defendieron sus beneficios medioambientales: los motores eliminarían de las calles las
montañas de estiércol de caballo que propagaban la suciedad y las enfermedades por las
zonas urbanas. No tenían ninguna idea del calentamiento global.
Comprender la tecnología implica, en parte, tratar de comprender sus consecuencias no
deseadas, para predecir no sólo efectos positivos sino también “efectos de venganza”. En
pocas palabras, cualquier tecnología es capaz de fallar, a menudo de maneras que
contradicen directamente su propósito original. Pensemos en la forma en que los opioides
recetados han creado dependencia, o en cómo el uso excesivo de antibióticos los vuelve
menos efectivos, o en cómo la proliferación de satélites y desechos conocidos como “basura
espacial” pone en peligro los vuelos espaciales.
A medida que la tecnología prolifera, más personas pueden usarla, adaptarla y darle
forma como quieran, en cadenas de causalidad más allá de la comprensión de cualquier
individuo. A medida que el poder de nuestras herramientas crece exponencialmente y el
acceso a ellas aumenta rápidamente, también aumentan los daños potenciales, un laberinto
de consecuencias que nadie puede predecir o prevenir por completo. Un día, alguien está
escribiendo ecuaciones en una pizarra o jugueteando con un prototipo en el garaje, un
trabajo que parece irrelevante para el resto del mundo. En décadas, ha generado preguntas
existenciales para la humanidad. A medida que hemos construido sistemas de potencia cada
vez mayor, este aspecto de la tecnología me ha resultado cada vez más apremiante. ¿Cómo
garantizamos que esta nueva ola de tecnologías haga más bien que mal?
El problema de la tecnología aquí es un problema de contención. Si este aspecto no
puede eliminarse, podría reducirse. La contención es la capacidad general de controlar,
limitar y, si es necesario, cerrar tecnologías en cualquier etapa de su desarrollo o
implementación. En algunas circunstancias, significa, en primer lugar, la capacidad de
detener la proliferación de una tecnología, controlando la onda expansiva de consecuencias
no deseadas (tanto buenas como malas).
Cuanto más poderosa es una tecnología, más arraigada está en todas las facetas de la
vida y la sociedad. Por lo tanto, los problemas de la tecnología tienden a escalar en paralelo
con sus capacidades, por lo que la necesidad de contención se agudiza con el tiempo.
¿Algo de esto libera a los tecnólogos? De nada; A nosotros más que a nadie nos
corresponde afrontarlo. Tal vez no seamos capaces de controlar los objetivos finales de
nuestro trabajo o sus efectos a largo plazo, pero eso no es motivo para abdicar de
responsabilidad. Las decisiones que los tecnólogos y las sociedades toman en el origen aún
pueden dar forma a los resultados. Sólo porque las consecuencias sean difíciles de predecir
no significa que no debamos intentarlo.
En la mayoría de los casos, la contención se trata de un control significativo, la capacidad
de detener un caso de uso, cambiar la dirección de una investigación o negar el acceso a
actores dañinos. Significa preservar la capacidad de controlar las olas para garantizar que su
impacto refleje nuestros valores, nos ayude a prosperar como especie y no introduzca daños
significativos que superen sus beneficios.
Este capítulo muestra cuán desafiante y raro es esto en realidad.

LA CONTENCIÓN ES LA FUNDACIÓN

Para muchos, la palabra “contención” trae ecos de la Guerra Fría. El diplomático

estadounidense George F. Kennan argumentó que “el elemento principal de cualquier
política de Estados Unidos hacia la Unión Soviética debe ser una contención a largo plazo,
paciente pero firme y vigilante de las tendencias expansivas rusas”. Al ver el mundo como un
campo de lucha en constante cambio, las naciones occidentales, sostenía Kennan, deben
monitorear y contrarrestar el poder soviético dondequiera que lo encuentren, conteniendo
de manera segura la amenaza roja y sus tentáculos ideológicos en todas las dimensiones .
Si bien esta interpretación de la contención ofrece algunas lecciones útiles, es
inadecuada para nuestros propósitos. La tecnología no es un adversario; es una propiedad
básica de la sociedad humana. Contener la tecnología debe ser un programa mucho más
fundamental, un equilibrio de poder no entre actores en competencia sino entre los humanos
y nuestras herramientas. Es un requisito previo necesario para la supervivencia de nuestra
especie durante el próximo siglo. La contención abarca regulación, mejor seguridad técnica,
nuevos modelos de gobernanza y propiedad, y nuevos modos de rendición de cuentas y
transparencia, todo ello como precursores necesarios (pero no suficientes) de una tecnología
más segura. Es un candado global que une ingeniería de vanguardia, valores éticos y
regulación gubernamental. La contención no debe verse como la respuesta final a todos los
problemas de la tecnología; es más bien el primer paso decisivo, una base sobre la que se
construye el futuro.
Pensemos entonces en la contención como un conjunto de mecanismos técnicos,
culturales, legales y políticos interrelacionados y que se refuerzan mutuamente para
mantener el control social de la tecnología durante una época de cambios exponenciales; una
arquitectura a la altura de la tarea de contener lo que alguna vez habrían sido siglos o
milenios de cambios tecnológicos que ahora ocurren en cuestión de años o incluso meses,
cuyas consecuencias repercuten en todo el mundo en segundos.
La contención técnica se refiere a lo que sucede en un laboratorio o en una instalación
de I+D. En IA, por ejemplo, significa espacios de aire, zonas de pruebas, simulaciones,
interruptores de apagado, medidas de seguridad integradas: protocolos para verificar la
seguridad o integridad o la naturaleza intransigente de un sistema y desconectarlo si es
necesario. Luego vienen los valores y culturas en torno a la creación y la difusión que
respaldan los límites, los niveles de gobernanza, la aceptación de los límites, la vigilancia de
los daños y las consecuencias no deseadas. Por último, la contención incluye mecanismos
legales de contención tanto nacionales como internacionales: regulaciones aprobadas por
legislaturas nacionales y tratados que operan a través de la ONU y otros organismos globales.
La tecnología siempre está profundamente atrapada en las leyes y costumbres, las normas y
hábitos, las estructuras de poder y conocimiento de cualquier sociedad determinada; cada
uno debe ser abordado. Volveremos a esto con más detalle en la parte 4.
Por ahora, tal vez se pregunten: ¿alguna vez hemos intentado realmente esto, hemos
tratado de contener una ola?

¿Hemos dicho alguna vez que no?

Mientras la imprenta rugía por toda Europa en el siglo XV, el Imperio Otomano tuvo una
respuesta bastante diferente. Intentó prohibirlo. Descontento ante la perspectiva de una
producción masiva y no regulada de conocimiento y cultura, el sultán consideraba a la prensa
una innovación ajena, “occidental”. A pesar de rivalizar en población con ciudades como
Londres, París y Roma, Estambul no poseyó una imprenta autorizada hasta 1727, casi tres
siglos después de su invención. Durante mucho tiempo, los historiadores vieron la
resistencia del Imperio Otomano como un ejemplo clásico de tecnonacionalismo temprano,
un rechazo consciente y retrospectivo de la modernidad.
Pero es más complicado que eso. Bajo las reglas del imperio, sólo se prohibieron los
caracteres árabes, pero no la impresión en absoluto. Más que una postura fundamentalmente
antitecnológica, la prohibición se redujo a el enorme gasto y la complejidad de gestionar
imprentas en idioma árabe; sólo el sultán podía permitirse financiar la impresión, y los
sucesivos sultanes tenían poco interés en ella. De modo que la prensa otomana se estancó;
durante un tiempo el imperio dijo no, gracias. Pero con el tiempo, como en todas partes, la
imprenta se convirtió en una realidad en el Imperio Otomano, en sus países descendientes y,
de hecho, en todo el mundo. Al parecer, los estados podrían decir que no, pero a medida que
las cosas se vuelven más baratas y más utilizadas, no pueden decir no para siempre.
En retrospectiva, las olas pueden parecer suaves e inevitables. Pero existe una variedad
casi infinita de factores pequeños, locales y a menudo arbitrarios que afectan la trayectoria
de una tecnología. De hecho, nadie debería imaginar que la difusión es fácil. Puede ser
costoso, lento y arriesgado, o requerir cambios desgarradores en el comportamiento que
sean factibles en sólo décadas o vidas. Tiene que luchar contra los intereses existentes, el
conocimiento establecido y aquellos que celosamente los defienden. El miedo y la sospecha
ante cualquier cosa nueva y diferente son endémicos. Todos, desde los gremios de hábiles
artesanos hasta los monarcas sospechosos, tienen motivos para contraatacar. Los luditas, los
grupos que rechazaron violentamente las técnicas industriales, no son la excepción a la
llegada de nuevas tecnologías; son la norma.
En la época medieval, el Papa Urbano II quiso prohibir la ballesta. La reina Isabel I
rechazó un nuevo tipo de máquina de tejer a finales del siglo XVI con el argumento de que
podría alterar a los gremios. Los gremios acosaron y destruyeron nuevos tipos de telares y
tornos en Nuremberg, Danzig, los Países Bajos e Inglaterra. John Kay, el inventor de la
lanzadera voladora, que hizo que el tejido fuera más eficiente y fue una de las tecnologías
clave de la Revolución Industrial, tenía tanto miedo a las represalias violentas que huyó de
Inglaterra a Francia.
A lo largo de la historia, las personas han intentado resistirse a las nuevas tecnologías
porque se sentían amenazadas y temían que sus medios de vida y sus medios de vida fueran
destruidos. Al luchar, tal como lo veían, por el futuro de sus familias, de ser necesario
destruirían físicamente lo que se avecinaba. Si las medidas pacíficas fracasaban, los luditas
querían desmantelar la ola de maquinaria industrial.
Bajo el shogunato Tokugawa del siglo XVII, Japón excluyó al mundo (y, por extensión, a
sus bárbaros inventos) durante casi trescientos años. Como la mayoría de las sociedades a lo
largo de la historia, desconfiaba de lo nuevo, lo diferente y lo disruptivo. De manera similar,
China Desestimó una misión diplomática británica y su oferta de tecnología occidental a
finales del siglo XVIII, con el emperador Qianlong argumentando: “Nuestro Celestial Imperio
posee todo en prolífica abundancia y no carece de ningún producto dentro de sus fronteras.
Por lo tanto, no hay necesidad de importar manufacturas de bárbaros extranjeros”.
Nada de eso funcionó. La ballesta sobrevivió hasta que fue usurpada por las armas de
fuego. La máquina de tejer de la reina Isabel regresó, siglos después, en forma de telares
mecánicos de gran escala sobrealimentados para provocar la Revolución Industrial. China y
Japón se encuentran hoy entre los lugares tecnológicamente más avanzados y globalmente
integrados del planeta. Los luditas no tuvieron más éxito en detener las nuevas tecnologías
industriales que los propietarios de caballos y los fabricantes de carruajes en impedir los
automóviles. Donde hay demanda, la tecnología siempre irrumpe, encuentra tracción y
construye usuarios.
Una vez establecidas, las olas son casi imposibles de detener. Como descubrieron los
otomanos cuando se trataba de imprimir, la resistencia tiende a disminuir con el paso del
tiempo. La naturaleza de la tecnología es difundirse, sin importar las barreras.
 Muchas tecnologías van y vienen. No se ven demasiados centavos ni Segways, se
escuchan muchos casetes o minidiscos. Pero eso no significa que la movilidad personal y la
música no sean omnipresentes; Las tecnologías más antiguas acaban de ser reemplazadas
por formas nuevas y más eficientes. No viajamos en trenes de vapor ni escribimos en
máquinas de escribir, pero su presencia fantasmal perdura en sus sucesores, como los
Shinkansens y los MacBooks.
Pensemos en cómo, como partes de oleadas sucesivas, el fuego, luego las velas y las
lámparas de aceite, dieron paso a las lámparas de gas y luego a las bombillas eléctricas, y
ahora a las luces LED, y la totalidad de la luz artificial aumentó incluso cuando las tecnologías
subyacentes cambiaron. Las nuevas tecnologías reemplazan a múltiples predecesoras. Así
como la electricidad hizo el trabajo de las velas y las máquinas de vapor, los teléfonos
inteligentes reemplazaron a los navegadores por satélite, las cámaras, las PDA, las
computadoras y los teléfonos (e inventaron clases de experiencia completamente nuevas:
las aplicaciones). A medida que las tecnologías permiten hacer más por menos, su atractivo
no hace más que crecer, junto con su adopción.
Imagínese intentar construir una sociedad contemporánea sin electricidad, agua
corriente ni medicinas. Incluso si pudieras, ¿cómo convencerías a alguien de que vale la pena,
es deseable y es un negocio decente? Pocos las sociedades alguna vez se han alejado con éxito
de la frontera tecnológica; hacerlo normalmente es parte de un colapso o lo precipita. No
existe una forma realista de retroceder.
Las invenciones no se pueden desinventar ni bloquear indefinidamente, ni desaprender
el conocimiento ni impedir su difusión. Los ejemplos históricos dispersos dan pocas razones
para pensar que podría volver a suceder. La Biblioteca de Alejandría se dejó marchitar y
finalmente se quemó, perdiéndose para siempre franjas de conocimiento clásico. Pero con el
tiempo la sabiduría de la antigüedad fue redescubierta y revalorizada. Con la ayuda de la
falta de herramientas de comunicación modernas, China mantuvo en secreto el secreto de la
fabricación de la seda durante siglos, pero al final salió a la luz gracias a dos decididos monjes
nestorianos en el año 552 d.C. Las tecnologías son ideas y las ideas no se pueden eliminar.
La tecnología es una zanahoria eternamente colgante, que constantemente promete
más, mejor, más fácil y más barata. Nuestro apetito por la invención es insaciable. La
aparente inevitabilidad de las olas no proviene de la ausencia de resistencia sino de que la
demanda la abruma. La gente a menudo ha dicho que no, que deseaba tecnología contenida
por una gran cantidad de razones. Simplemente nunca ha sido suficiente. No es que el
problema de la contención no haya sido reconocido en la historia; es solo que nunca se ha
solucionado.
¿Hay excepciones? ¿O al final la ola siempre rompe por todas partes?

¿LA EXCEPCIÓN NUCLEAR?

El 11 de septiembre de 1933, el físico Ernest Rutherford argumentó ante la Asociación

Británica para el Avance de la Ciencia en Leicester que “cualquiera que diga que con los
medios de que disponemos actualmente y con nuestro conocimiento actual podemos utilizar
la energía atómica está diciendo tonterías. " Al leer un relato del argumento de Rutherford
en un hotel de Londres, el emigrado húngaro Leo Szilard reflexionó sobre él durante el
desayuno. Salió a caminar. El día después de que Rutherford lo llamara alcohol ilegal, Szilard
conceptualizó una reacción nuclear en cadena.
La primera explosión nuclear se produjo apenas doce años después. El 16 de julio de
1945, bajo los auspicios del Proyecto Manhattan, el ejército de los EE. UU. detonó un
dispositivo con el nombre en código Trinity en el desierto de Nuevo México. Semanas
después un Boeing B-29 Superfortress, el Enola Gay, dejó caer un dispositivo con el nombre
en código Little Boy, que contenía sesenta y cuatro kilogramos de uranio-235 sobre la ciudad
de Hiroshima y mató a 140.000 personas. En un instante, el mundo había cambiado. Sin
embargo, a partir de ahí, contrariamente al patrón más amplio de la historia, las armas
nucleares no proliferaron incesantemente.
Las armas nucleares sólo han sido detonadas dos veces en tiempos de guerra. Hasta la
fecha sólo nueve países los han adquirido. De hecho, Sudáfrica abandonó por completo la
tecnología en 1989. Hasta donde sabemos, ningún actor no estatal ha adquirido armas
nucleares, y hoy el número total de ojivas nucleares asciende a unas diez mil, cifra
alarmantemente grande, pero inferior a los máximos de la Guerra Fría. cuando esa cifra
rondaba los sesenta mil.
¿Entonces qué pasó? Las armas nucleares claramente confieren una importante ventaja
estratégica. Al final de la Segunda Guerra Mundial, muchos, como era de esperar, asumieron
que proliferarían ampliamente. Después del desarrollo exitoso de las primeras bombas
nucleares, Estados Unidos y Rusia habían estado en el camino de desarrollar armas cada vez
más destructivas, como bombas termonucleares de hidrógeno. La mayor explosión jamás
registrada fue una prueba de una bomba H llamada Tsar Bomba. Detonada sobre un remoto
archipiélago en el mar de Barents en 1961, la explosión creó una bola de fuego de cinco
kilómetros y una nube en forma de hongo de cincuenta y nueve millas de ancho. La explosión
fue diez veces más poderosa que el total combinado de todos los explosivos convencionales
desplegados en la Segunda Guerra Mundial. Su escala asustó a todos. En este sentido,
realmente podría haber ayudado. Tanto Estados Unidos como Rusia dejaron de aumentar
sus armas ante su enorme y horrible poder.
Que la tecnología nuclear siguiera contenida no fue una casualidad; fue una política
consciente de no proliferación de las potencias nucleares, ayudada por el hecho de que las
armas nucleares son increíblemente complejas y costosas de producir.
Algunas de las primeras propuestas para lograr la contención eran admirablemente
altruistas. En 1946, el Informe Acheson-Lilienthal sugirió que la ONU creara una “Autoridad
de Desarrollo Atómico” con control mundial explícito de todas las actividades nucleares. Por
supuesto, eso no sucedió, pero aun así se firmaron una serie de tratados internacionales.
Aunque países como China y Francia se mantuvieron al margen, el Tratado de Prohibición
Parcial de Ensayos Nucleares fue firmado en 1963, reduciendo el ruido de las explosiones de
prueba que estimularon la competencia.
En 1968 se produjo un punto de inflexión con el Tratado sobre la No Proliferación de
Armas Nucleares, un momento histórico en el que las naciones acordaron explícitamente no
desarrollar nunca armas nucleares. El mundo se había unido para detener decisivamente la
proliferación de armas nucleares hacia nuevos estados. Desde la primera prueba quedó claro
su poder destructivo. La repulsión popular ante la posibilidad de un apocalipsis
termonuclear fue un poderoso motivador para firmar el tratado. Pero estas armas también
han sido contenidas mediante fríos cálculos. La destrucción mutua asegurada acorraló a los
poseedores, ya que pronto quedó claro que usarlos con ira es una forma rápida de asegurar
su propia destrucción.
También son increíblemente caros y difíciles de fabricar. No sólo requieren materiales
raros y difíciles de manejar como el uranio enriquecido-235, sino que mantenerlos y, en
última instancia, desmantelarlos también es un desafío. La falta de una demanda
generalizada ha significado poca presión para reducir los costos y aumentar el acceso; no
están sujetos a las curvas de costos clásicas de la tecnología de consumo moderna. Estos
nunca se extenderían como los transistores o los televisores de pantalla plana; Producir
material fisionable no es como laminar aluminio. La no proliferación es en gran medida una
función del hecho de que construir una bomba nuclear es uno de los esfuerzos más grandes,
más caros y más complicados que un estado puede emprender.
Sería un error decir que no han proliferado, cuando incluso ahora tantas armas
nucleares se encuentran en submarinos que patrullan los mares o están en alerta instantánea
en grandes silos. Pero en un grado notable, y gracias a un enorme espectro de esfuerzos
técnicos y políticos durante décadas, han evitado el profundo patrón subyacente de la
tecnología.
Y, sin embargo, aunque la capacidad nuclear ha sido contenida en gran medida, una
excepción parcial, no es una historia tranquilizadora. La historia nuclear sigue siendo una
escalofriante sucesión de accidentes, cuasi accidentes y malentendidos. Desde las primeras
pruebas en 1945, cientos de incidentes merecen seria preocupación, desde problemas de
proceso relativamente menores hasta escaladas aterradoras que podrían haber
desencadenado (y aún podrían) desencadenar una destrucción a una escala verdaderamente
horrorosa.
El fracaso podría presentarse de diversas formas. ¿Qué pasa si el software falla?
¿equivocado? Después de todo, no fue hasta 2019 que los sistemas de comando y control de
EE. UU. se actualizaron desde el hardware de la década de 1970 y los disquetes de ocho
pulgadas. El arsenal de armas más sofisticado y destructivo del mundo funcionaba con una
tecnología tan anticuada que sería irreconocible (e inutilizable) para la mayoría de las
personas que viven hoy en día.
Los accidentes son legión. En 1961, por ejemplo, un B-52 que volaba en los cielos de
Carolina del Norte sufrió una fuga de combustible. La tripulación salió despedida del avión
averiado, dejándolo junto con su carga útil cayendo al suelo. En el proceso, el interruptor de
seguridad de una bomba de hidrógeno activa se activó y se estrelló contra un campo. De sus
cuatro mecanismos de seguridad, sólo uno quedó en su lugar y se evitó milagrosamente una
explosión. En 2003, el Ministerio de Defensa británico reveló más de 110 cuasi accidentes y
accidentes en la historia de su programa de armas nucleares. Incluso el Kremlin, que
difícilmente es un modelo de apertura, ha admitido 15 accidentes nucleares graves entre
2000 y 2010.
Pequeños fallos de funcionamiento del hardware pueden generar riesgos descomunales.
En 1980, un solo chip de computadora defectuoso que costó cuarenta y seis centavos casi
desencadenó un importante incidente nuclear en el Pacífico. Y quizás en el caso más
conocido, la catástrofe nuclear sólo se evitó durante la crisis de los misiles cubanos cuando
un hombre, el comodoro ruso en funciones, Vasili Arkhipov, se negó a dar la orden de
disparar torpedos nucleares. Los otros dos oficiales del submarino, convencidos de que
estaban bajo ataque, habían llevado al mundo a una fracción de segundo de una guerra
nuclear a gran escala.
Las preocupaciones siguen siendo abundantes. Los sables nucleares volvieron a sonar
tras la invasión rusa de Ucrania. Corea del Norte hizo todo lo posible para adquirir armas
nucleares y parece haber vendido misiles balísticos y desarrollado conjuntamente
tecnologías nucleares con países como Irán y Siria. China, India y Pakistán están aumentando
sus arsenales y tienen antecedentes de seguridad poco claros. Todos, desde Turquía y Arabia
Saudita hasta Japón y Corea del Sur, al menos han expresado interés en las armas nucleares.
Brasil y Argentina incluso tenían programas de enriquecimiento de uranio.
Hasta la fecha no se sabe de ningún grupo terrorista que haya adquirido una ojiva
convencional o material radiológico suficiente para una bomba “sucia”. Pero los métodos
para construir un dispositivo de este tipo no son ningún secreto. A un infiltrado deshonesto
podría producir uno de manera creíble. El ingeniero AQ Khan ayudó a Pakistán a desarrollar
armas nucleares robando planos de centrífugas y huyendo de los Países Bajos.
Se desconoce el paradero de una gran cantidad de material nuclear, proveniente de
hospitales, empresas, ejércitos e incluso recientemente de Chernobyl. En 2018, se robaron
plutonio y cesio del automóvil de un funcionario del Departamento de Energía en San
Antonio, Texas, mientras dormían en un hotel cercano. El escenario de pesadilla es el de una
ojiva suelta, robada en tránsito o incluso perdida de algún modo en un ejercicio contable.
Puede parecer fantástico, pero en realidad Estados Unidos ha perdido al menos tres armas
nucleares.
La energía nuclear es una excepción a la imparable expansión de la tecnología, pero sólo
debido a los tremendos costos y la complejidad que implica, las décadas de arduo esfuerzo
multilateral, la enormidad que induce al miedo de su potencial letal y pura suerte. Hasta
cierto punto, entonces, podría haber contrarrestado la tendencia más amplia, pero también
muestra cómo ha cambiado el juego. Dadas las posibles consecuencias, dado su inminente
alcance existencial, incluso una contención parcial y relativa es lamentablemente
insuficiente.
La preocupante verdad de esta temible tecnología es que la humanidad ha intentado
decir que no y sólo lo ha logrado parcialmente. Las armas nucleares se encuentran entre las
tecnologías más contenidas de la historia y, sin embargo, el problema de la contención (en
su sentido más duro y literal) sigue sin resolverse incluso en este caso.

EL ANIMAL TECNOLÓGICO

Los destellos de contención son raros y a menudo defectuosos. Incluyen moratorias sobre
armas biológicas y químicas; el Protocolo de Montreal de 1987, que eliminó gradualmente
las sustancias que dañan la capa de ozono de la atmósfera, en particular los CFC; la
prohibición de la UE de organismos genéticamente modificados en los productos
alimenticios; y una moratoria autoorganizada sobre la edición de genes humanos. Quizás la
agenda de contención más ambiciosa sea la descarbonización, medidas como el Acuerdo de
París, que apunta a limitar el aumento de la temperatura global a dos grados Celsius. En
esencia, representa un intento mundial de decir no a un conjunto de tecnologías
fundamentales.
Echaremos un vistazo más de cerca a estos ejemplos modernos de contención. en la
parte 4. Sin embargo, por ahora es importante señalar que, si bien son instructivos, ninguno
de estos logros es particularmente sólido. Recientemente se utilizaron armas químicas en
Siria. Estas armas son sólo una aplicación relativamente limitada en campos en constante
desarrollo. A pesar de las moratorias, las capacidades químicas y biológicas del mundo
crecen cada año; Si alguien percibiera la necesidad de convertirlos en armas, sería más fácil
que nunca.
Si bien la UE prohíbe los OGM en el suministro de alimentos, son omnipresentes en otras
partes del mundo. Como veremos, la ciencia detrás de la edición genética avanza. El llamado
a una moratoria global sobre la edición de genes humanos se ha estancado.
Afortunadamente, se disponía de alternativas más baratas y eficaces para sustituir a los CFC,
que en cualquier caso no eran una tecnología de uso general. Sin ellos, los modelos sugieren
que la capa de ozono podría haberse colapsado en la década de 2040, generando 1,7 grados
Celsius adicionales de calentamiento en el siglo XXI. En general, estos esfuerzos de
contención se limitan a tecnologías muy específicas, algunas en jurisdicciones estrechas, y
todas con una adquisición inestable.
Si bien el Acuerdo de París pretende ir más allá de estas limitaciones, ¿funcionará?
Tenemos que esperar que así sea. Pero vale la pena señalar que esta contención se produce
sólo después de un daño significativo y una amenaza a nivel existencial que se vuelve más
obvia cada día. Llega tarde y su éxito está lejos de estar garantizado.
Esto no es una contención adecuada. Ninguno de estos esfuerzos representa la detención
a gran escala de una ola de tecnología de propósito general, aunque, como veremos más
adelante, ofrecen importantes indicaciones para el futuro. Pero estos ejemplos no brindan ni
remotamente tanto consuelo como esperaríamos o necesitaríamos.

SIEMPRE HAY BUENAS razones para resistirse o restringir la tecnología. Aunque su historia es la
de permitir a las personas hacer más, aumentar las capacidades e impulsar mejoras en el
bienestar, no es una historia unilateral: la tecnología crea armas más letales y destructivas,
así como mejores herramientas. Produce perdedores, elimina algunos empleos y formas de
vida, y crea daños hasta la escala planetaria y existencial del cambio climático. Las nuevas
tecnologías pueden ser inquietantes y desestabilizadoras, extrañas e invasivas. La tecnología
causa problemas y siempre lo ha hecho.
Y, sin embargo, nada de eso parece importar. Puede que lleve tiempo, pero el patrón es
inconfundible: tecnologías proliferantes, más baratas y más eficientes, oleada tras oleada de
ellas. Mientras una tecnología sea útil, deseable, asequible, accesible e insuperable, sobrevive
y se propaga, y esas características se agravan. Si bien la tecnología no nos dice cuándo, cómo
o si cruzar las puertas que abre, tarde o temprano parece que las atravesamos. No hay aquí
ninguna relación necesaria, sólo un vínculo empírico persistente a lo largo de la historia.
Todo lo relacionado con una tecnología determinada es contingente y depende del
camino; se basa en un conjunto increíblemente complejo de circunstancias, acontecimientos
fortuitos y una miríada de factores locales, culturales, institucionales y económicos
específicos. Si nos acercamos, los encuentros afortunados, los eventos aleatorios, las
peculiaridades del carácter y los pequeños actos de creación (y, a veces, de rechazo) cobran
gran importancia. Pero alejamos el zoom y ¿qué vemos? Un proceso más tectónico, en el que
la cuestión no es si estos poderes se aprovechan sino cuándo, de qué forma y por quién.
Dada su extrema rareza, la contención, como era de esperar, ha desaparecido del
vocabulario de los tecnólogos y los responsables políticos. Nos hemos resignado
colectivamente a la historia de este capítulo porque está muy arraigada. En general, hemos
dejado que las olas nos invadan, gestionando de manera descoordinada y ad hoc, aceptando
que las capacidades que se propagan inevitable e incontrolablemente son, ya sea bienvenidas
o vilipendiadas, una realidad de la vida.
En el espacio de unos cien años, sucesivas oleadas llevaron a la humanidad de una era
de velas y carros tirados por caballos a una de centrales eléctricas y estaciones espaciales.
Algo similar va a ocurrir en los próximos treinta años. En las próximas décadas, una nueva
ola de tecnología nos obligará a enfrentar las preguntas más fundamentales que nuestra
especie haya enfrentado jamás. ¿Queremos editar nuestros genomas para que algunos de
nosotros podamos tener hijos con inmunidad a ciertas enfermedades, o con más inteligencia,
o con potencial para vivir más tiempo? ¿Estamos comprometidos a mantener nuestro lugar
en la cima de la pirámide evolutiva o permitiremos el surgimiento de sistemas de inteligencia
artificial que sean más inteligentes y más capaces de lo que jamás podremos ser? ¿Cuáles son
las consecuencias no deseadas de explorar preguntas como éstas?
Ilustran una verdad clave sobre el Homo technologicus en el siglo XXI. Durante la mayor
parte de la historia, el desafío de la tecnología consistió en crear y liberar su poder. Eso ahora
ha cambiado: el desafío de la tecnología hoy es contener su poder desatado, asegurando que
continúe sirviéndonos a nosotros y a nuestro planeta.
Ese desafío está a punto de intensificarse de manera decisiva.
 PARTE II

LA
PRÓXIMA OLA
 CAPÍTULO 4

LA TECNOLOGÍA DE LA INTELIGENCIA
BIENVENIDO A LA MÁQUINA

NUNCA OLVIDARÉ EL MOMENTO EN QUE la IA se volvió real para mí. No es un tema de

conversación ni una ambición de ingeniería, sino una realidad.
Sucedió en la primera oficina de DeepMind en Bloomsbury, Londres, un día de 2012.
Después de fundar la empresa y asegurar la financiación inicial, pasamos algunos años en
modo sigiloso, centrándonos en la investigación y la ingeniería de la construcción de AGI, o
inteligencia artificial general. Lo “general” en AGI se refiere al amplio alcance previsto para
la tecnología; queríamos construir agentes de aprendizaje verdaderamente generales que
pudieran superar el desempeño humano en la mayoría de las tareas cognitivas. Nuestro
enfoque silencioso cambió con la creación de un algoritmo llamado DQN, abreviatura de
Deep Q-Network. Los miembros del equipo entrenaron a DQN para jugar una serie de juegos
clásicos de Atari o, más específicamente, lo entrenamos para que aprendiera a jugarlos por
sí solo. Este elemento de autoaprendizaje fue la diferencia clave de nuestro sistema en
comparación con esfuerzos anteriores y representó el primer indicio de que podríamos
lograr nuestro objetivo final.
Al principio, DQN era terrible, aparentemente incapaz de aprender nada en absoluto.
Pero entonces, esa tarde del otoño de 2012, un pequeño grupo de nosotros en DeepMind
estábamos apiñados alrededor de una máquina viendo repeticiones del proceso de
entrenamiento del algoritmo mientras aprendía el juego Breakout. En Breakout, el jugador
controla una paleta en la parte inferior de la pantalla, que hace rebotar una pelota hacia
arriba y hacia abajo para derribar filas de ladrillos de colores. Cuantos más ladrillos
destruyas, mayor será tu puntuación. Nuestro equipo había dado DQN no es más que los
píxeles sin procesar, cuadro por cuadro, y la puntuación, para aprender una relación entre
los píxeles y las acciones de control de mover la paleta hacia la izquierda y hacia la derecha.
Al principio, el algoritmo progresó explorando aleatoriamente el espacio de posibilidades
hasta que tropezó con una acción gratificante. A través de prueba y error, aprendió a
controlar la paleta, hacer rebotar la pelota hacia adelante y hacia atrás y derribar ladrillos
fila por fila. Cosas impresionantes.
Entonces sucedió algo extraordinario. DQN pareció descubrir una estrategia nueva y
muy inteligente. En lugar de simplemente derribar ladrillos de manera constante, fila por
fila, DQN comenzó a apuntar a una sola columna de ladrillos. El resultado fue la creación de
una ruta eficiente hasta la parte posterior del bloque de ladrillos. DQN había hecho un túnel
hasta la cima, creando un camino que luego permitía que la bola simplemente rebotara en la
pared trasera, destruyendo constantemente todo el conjunto de ladrillos como una bola
frenética en una máquina de pinball. El método obtuvo la máxima puntuación con el mínimo
esfuerzo. Era una táctica extraña, no desconocida para los jugadores serios, pero lejos de ser
obvia. Habíamos visto cómo el algoritmo aprendía algo nuevo por sí solo. Me quedé atónito.
Por primera vez fui testigo de un sistema muy simple y muy elegante que podía aprender
conocimientos valiosos, posiblemente una estrategia que no era obvia para muchos
humanos. Fue un momento electrizante, un gran avance en el que un agente de IA demostró
una indicación temprana de que podía descubrir nuevos conocimientos.
DQN había tenido un comienzo difícil, pero con unos meses de ajustes el algoritmo
alcanzó niveles de rendimiento sobrehumanos. Este tipo de resultado fue la razón por la que
iniciamos DeepMind. Ésta era la promesa de la IA. Si una IA pudiera descubrir una estrategia
inteligente como la construcción de túneles, ¿qué más podría aprender? ¿Podríamos
aprovechar este nuevo poder para dotar a nuestra especie de nuevos conocimientos,
invenciones y tecnologías que nos ayuden a abordar los problemas sociales más desafiantes
del siglo XXI?
DQN fue un gran paso para mí, para DeepMind y para la comunidad de IA. Pero la
respuesta del público fue bastante silenciosa. La IA todavía era un debate marginal, un área
de investigación marginal. Y, sin embargo, en unos pocos años, todo eso cambiaría a medida
que esta nueva generación de técnicas de IA irrumpiera en el escenario mundial.

ALPHAGO Y EL
COMIENZO DEL FUTURO

El Go es un antiguo juego del este de Asia que se juega en una cuadrícula de diecinueve por
diecinueve con piedras blancas y negras. Nuestro objetivo es rodear las piedras de nuestro
oponente con las nuestras y, una vez rodeadas, las retiramos del tablero. Eso es
practicamente todo.
A pesar de sus reglas simples, la complejidad del Go es asombrosa. Es exponencialmente
más complejo que el ajedrez. Después de sólo tres pares de movimientos en el ajedrez,
existen alrededor de 121 millones de configuraciones posibles del tablero. Pero después de
tres movimientos en Go, hay del orden de 200 mil billones (2 x 10 15 ) de configuraciones
posibles. En total, la placa tiene 10.170 configuraciones posibles, una cantidad alucinante.
A menudo se dice que hay más configuraciones potenciales de una placa Go que átomos
en el universo conocido; ¡De hecho, un millón de billones de billones de billones de billones
de configuraciones más! Con tantas posibilidades, los enfoques tradicionales no tenían
ninguna posibilidad. Cuando Deep Blue de IBM venció a Garry Kasparov en ajedrez en 1997,
utilizó la llamada técnica de fuerza bruta, en la que un algoritmo pretende analizar
sistemáticamente tantos movimientos posibles como sea posible. Ese enfoque es inútil en un
juego con tantos resultados ramificados como el Go.
Cuando comenzamos a trabajar en Go en 2015, la mayoría de la gente pensaba que
faltaban décadas para un programa campeón mundial. El cofundador de Google, Sergey Brin,
nos animó a abordarlo, argumentando que cualquier progreso sería bastante impresionante.
AlphaGo aprendió inicialmente viendo 150.000 juegos jugados por expertos humanos. Una
vez que estuvimos satisfechos con su rendimiento inicial, el siguiente paso clave fue crear
muchas copias de AlphaGo y hacer que jugara contra sí mismo una y otra vez. Esto significó
que el algoritmo fue capaz de simular millones de juegos nuevos, probando combinaciones
de movimientos que nunca antes se habían jugado y, por lo tanto, explorar de manera
eficiente una enorme gama de posibilidades, aprendiendo nuevas estrategias en el proceso.
Luego, en marzo de 2016, organizamos un torneo en Corea del Sur. AlphaGo se enfrentó
a Lee Sedol, un virtuoso campeón mundial. No estaba nada claro quién ganaría. La mayoría
de los comentaristas respaldaron que Sedol entrara en la primera ronda. Pero AlphaGo ganó
el primer juego, para nuestro gran shock y deleite. En el segundo juego llegó el movimiento
número 37, un movimiento ahora famoso en los anales de AI y Go. No tenía sentido. AlphaGo
aparentemente lo había arruinado, siguiendo ciegamente una estrategia perdedora que
ningún jugador profesional seguiría jamás. Los comentaristas del partido en directo, ambos
profesionales del más alto ranking, dijeron que se trataba de una “jugada muy extraña” y
pensaron que se trataba de “un error”. Fue tan inusual que Sedol tardó quince minutos en
responder e incluso se levantó del tablero para dar un paseo afuera.
Mientras observábamos desde nuestra sala de control, la tensión era irreal. Sin embargo,
a medida que se acercaba el final, ese movimiento “equivocado” resultó fundamental.
AlphaGo volvió a ganar. La estrategia de Go se estaba reescribiendo ante nuestros ojos.
Nuestra IA había descubierto ideas que no se les habían ocurrido a los jugadores más
brillantes en miles de años. En tan solo unos meses, podríamos entrenar algoritmos para
descubrir nuevos conocimientos y encontrar ideas nuevas y aparentemente sobrehumanas.
¿Cómo podríamos llevar eso más lejos? ¿Funcionaría este método para problemas del mundo
real?
AlphaGo venció a Sedol 4-1. Era solo el principio. Las versiones posteriores de software
como AlphaZero prescindieron de cualquier conocimiento humano previo. El sistema
simplemente se entrenó por sí solo, jugó millones de veces y aprendió desde cero para
alcanzar un nivel de rendimiento que superó al AlphaGo original sin la sabiduría recibida ni
el aporte de los jugadores humanos. En otras palabras, con sólo un día de entrenamiento,
AlphaZero fue capaz de aprender más sobre el juego de lo que toda la experiencia humana
podría enseñarle.
El triunfo de AlphaGo anunció una nueva era de la IA. Esta vez, a diferencia de DQN, el
proceso se transmitió en vivo a millones de personas. Nuestro equipo, a la vista del público,
había surgido de lo que los investigadores habían llamado "el invierno de la IA", cuando los
fondos para la investigación se agotaron y el campo fue rechazado. La IA había regresado y
finalmente comenzaba a dar resultados. Una vez más, un cambio tecnológico radical estaba
en camino y una nueva ola comenzaba a aparecer. Y esto fue sólo el comienzo.

DE LOS ÁTOMOS A LOS BITS A LOS GENES

Hasta hace poco, la historia de la tecnología podía resumirse en una sola frase: la búsqueda
de la humanidad por manipular los átomos. Del fuego a Desde la electricidad, desde las
herramientas de piedra hasta las máquinas herramienta, desde los hidrocarburos hasta las
medicinas, el viaje descrito en el capítulo 2 es esencialmente un vasto proceso en desarrollo
en el que nuestra especie ha extendido lentamente su control sobre los átomos. A medida
que este control se ha vuelto más preciso, las tecnologías se han vuelto cada vez más
poderosas y complejas, dando origen a máquinas herramienta, procesos eléctricos, motores
térmicos, materiales sintéticos como los plásticos y la creación de intrincadas moléculas
capaces de vencer enfermedades temidas. En el fondo, el principal impulsor de todas estas
nuevas tecnologías es el material : la manipulación cada vez mayor de sus elementos
atómicos.
Luego, a partir de mediados del siglo XX, la tecnología comenzó a operar en un nivel
superior de abstracción. En el centro de este cambio estuvo la comprensión de que la
información es una propiedad fundamental del universo. Puede codificarse en formato
binario y, en forma de ADN, es el núcleo del funcionamiento de la vida. Las cadenas de unos
y ceros, o los pares de bases del ADN, no son sólo curiosidades matemáticas. Son
fundamentales y poderosos. Comprenda y controle estos flujos de información y podrá abrir
progresivamente un nuevo mundo de posibilidades. Primero los bits y luego cada vez más
los genes suplantaron a los átomos como componentes básicos de la invención.
En las décadas posteriores a la Segunda Guerra Mundial, científicos, tecnólogos y
empresarios fundaron los campos de la informática y la genética, y una gran cantidad de
empresas asociadas con ambos. Comenzaron revoluciones paralelas (las de los bits y los
genes) que se ocupaban de la circulación de la información, trabajando en nuevos niveles de
abstracción y complejidad. Con el tiempo, las tecnologías maduraron y nos dieron de todo,
desde teléfonos inteligentes hasta arroz genéticamente modificado. Pero había límites a lo
que podíamos hacer.
Esos límites ahora se están transgrediendo. Nos acercamos a un punto de inflexión con
la llegada de estas tecnologías de orden superior, las más profundas de la historia. La
próxima ola de tecnología se basa principalmente en dos tecnologías de propósito general
capaces de operar a los niveles más grandiosos y granulares por igual: la inteligencia
artificial y la biología sintética. Por primera vez, los componentes centrales de nuestro
ecosistema tecnológico abordan directamente dos propiedades fundamentales de nuestro
mundo: la inteligencia y la vida. En otras palabras, la tecnología está atravesando una
transición de fase. Ya no será simplemente una herramienta, sino que diseñará vida y
rivalizará (y superará) con nuestra propia inteligencia.
Se están abriendo ámbitos que antes estaban cerrados a la tecnología. La IA nos permite
replicar el habla y el lenguaje, la visión y el razonamiento. Los avances fundamentales en
biología sintética nos han permitido secuenciar, modificar y ahora imprimir ADN.
Nuestros nuevos poderes para controlar bits y genes se retroalimentan en el material,
permitiendo un control extraordinario del mundo que nos rodea incluso hasta el nivel
atómico. Átomos, bits y genes se unen en un ciclo efervescente de capacidad de catalización
cruzada, corte transversal y expansión. Nuestra capacidad para manipular átomos con
precisión permitió la invención de obleas de silicio, que permitieron calcular billones de
operaciones por segundo, lo que a su vez nos permitió descifrar el código de la vida.
Si bien la IA y la biología sintética son las tecnologías centrales de propósito general de
la próxima ola, las rodean un conjunto de tecnologías con ramificaciones inusualmente
poderosas, que abarcan la computación cuántica, la robótica, la nanotecnología y el potencial
de energía abundante, entre otras.
La ola que se avecina será más difícil de contener que cualquier otra en la historia, más
fundamental y de mayor alcance. Comprender la ola y sus contornos es fundamental para
evaluar lo que nos espera en el siglo XXI.
 UNA EXPLOSIÓN CÁMBRICA

La tecnología es un conjunto de ideas en evolución. Las nuevas tecnologías evolucionan

colisionando y combinándose con otras tecnologías. Las combinaciones efectivas
sobreviven, como en la selección natural, formando nuevos componentes básicos para
tecnologías futuras. La invención es un proceso acumulativo y compuesto. Se alimenta de sí
mismo. Cuantas más tecnologías haya, más podrán convertirse a su vez en componentes de
otras nuevas tecnologías, de modo que, en palabras del economista W. Brian Arthur, “el
conjunto general de tecnologías se impulsa hacia arriba desde unas pocas hasta muchas y
desde la mayoría”. lo simple a lo complejo”. Por tanto, la tecnología es como un lenguaje o
una química: no un conjunto de entidades y prácticas independientes, sino un conjunto de
partes que se mezclan y recombinan.
Esto es clave para comprender la ola que se avecina. El estudioso de la tecnología Everett
Rogers habla de la tecnología como “grupos de innovaciones” donde una o más
características están estrechamente interrelacionadas. La ola que se avecina es un
supercúmulo, un estallido evolutivo como la explosión del Cámbrico, la erupción más intensa
de nuevas especies en la historia de la Tierra, con muchos miles de nuevas aplicaciones
potenciales. Cada tecnología descrita aquí se cruza con las demás, las refuerza y las impulsa
de maneras que hacen difícil predecir su impacto de antemano. Todos están profundamente
enredados y lo estarán aún más.
Otro rasgo de la nueva ola es la velocidad. El ingeniero y futurista Ray Kurzweil habla de
la “ley de los rendimientos acelerados”, bucles de retroalimentación donde los avances
tecnológicos aumentan aún más el ritmo de desarrollo. Al permitir trabajar con mayores
niveles de complejidad y precisión, chips y láseres más sofisticados ayudan a crear chips más
potentes, por ejemplo, que a su vez pueden producir mejores herramientas para otros chips.
Ahora vemos esto a gran escala, con la IA ayudando a diseñar mejores chips y técnicas de
producción que permiten formas más sofisticadas de IA, etc. Las diferentes partes de la onda
chispean y se aceleran entre sí, a veces con extrema imprevisibilidad y combustibilidad.
No podemos saber exactamente qué combinaciones resultarán. No hay certeza sobre los
cronogramas, los puntos finales o las manifestaciones específicas. Sin embargo, podemos ver
cómo se forman nuevos y fascinantes vínculos en tiempo real. Y podemos estar seguros de
que el patrón de la historia, de la tecnología, de un proceso interminable de recombinación
y proliferación productiva, continuará, pero también se profundizará radicalmente.

MÁS ALLÁ DE LAS PALABRAS DE BUZZ

La inteligencia artificial, la biología sintética, la robótica y la computación cuántica pueden

parecer un desfile de palabras de moda sobrevaloradas. Abundan los escépticos. Todos estos
términos han sido objeto de debate en el discurso tecnológico popular durante décadas. Y el
progreso ha sido a menudo más lento de lo que se anunciaba. Los críticos argumentan que
los conceptos que exploramos en este capítulo, como el AGI, están demasiado mal definidos
o intelectualmente equivocados para considerarlos seriamente.
 En una era de abundante capital de riesgo, distinguir los objetos brillantes de los avances
genuinos no es tan sencillo. Se habla de aprendizaje automático, auge de las criptomonedas
y financiación de millones y miles de millones de dólares Las rondas, comprensiblemente, se
encuentran con una mirada en blanco y un suspiro en muchos círculos. Es fácil cansarse de
los comunicados de prensa sin aliento, las demostraciones de productos autocomplacientes
y las frenéticas animaciones en las redes sociales.
Si bien el argumento bajista tiene sus méritos, descartamos las tecnologías de la próxima
ola bajo nuestro propio riesgo. En este momento, ninguna de las tecnologías descritas en este
capítulo está siquiera cerca de su máximo potencial. Pero es casi seguro que dentro de cinco,
diez o veinte años lo serán. El progreso es visible y se acelera. Está sucediendo mes a mes.
Sin embargo, comprender la ola que se avecina no se trata de hacer un juicio rápido sobre
cómo estarán las cosas este o aquel año; se trata de seguir de cerca el desarrollo de múltiples
curvas exponenciales a lo largo de décadas, proyectarlas hacia el futuro y preguntarse qué
significa eso.
La tecnología es fundamental para el patrón histórico en el que nuestra especie está
adquiriendo un dominio cada vez mayor de los átomos, los bits y los genes, los componentes
básicos universales del mundo tal como lo conocemos. Esto equivaldrá a un momento de
importancia cósmica. El desafío de gestionar las tecnologías de la próxima ola significa
comprenderlas y tomarlas en serio, empezando por aquella en la que he trabajado durante
mi carrera: la IA.

LA PRIMAVERA DE LA IA:
EL APRENDIZAJE PROFUNDO LLEGA A LA MAYORÍA DE EDAD

La IA está en el centro de esta ola venidera. Y, sin embargo, desde que el término “inteligencia
artificial” entró por primera vez en el léxico en 1955, a menudo se ha sentido como una
promesa lejana. Durante años, el progreso en visión por computadora, por ejemplo (el
desafío de construir computadoras que puedan reconocer objetos o escenas) fue más lento
de lo esperado. El legendario profesor de informática Marvin Minsky contrató a un
estudiante de verano para trabajar en un sistema de visión inicial en 1966, pensando que
hitos importantes estaban a su alcance. Eso fue tremendamente optimista.
El momento decisivo tardó casi medio siglo y finalmente llegó en 2012 en forma de un
sistema llamado AlexNet. AlexNet fue impulsado por el resurgimiento de una antigua técnica
que ahora se ha vuelto fundamental para la IA, una que ha potenciado el campo y era parte
integral de nosotros en DeepMind: el aprendizaje profundo.
El aprendizaje profundo utiliza redes neuronales modeladas libremente a partir de las
del cerebro humano. En términos simples, estos sistemas “aprenden” cuando sus redes están
“entrenadas” con grandes cantidades de datos. En el caso de AlexNet, los datos de
entrenamiento consistían en imágenes. A cada píxel rojo, verde o azul se le asigna un valor y
la matriz de números resultante se introduce en la red como entrada. Dentro de la red, las
"neuronas" se vinculan con otras neuronas mediante una serie de conexiones ponderadas,
cada una de las cuales corresponde aproximadamente a la fuerza de la relación entre las
entradas. Cada capa de la red neuronal envía su información a la siguiente capa, creando
representaciones cada vez más abstractas.
Luego, una técnica llamada retropropagación ajusta los pesos para mejorar la red
neuronal; cuando se detecta un error, los ajustes se propagan a través de la red para ayudar
a corregirlo en el futuro. Continúe haciendo esto, modificando los pesos una y otra vez, y
mejorará gradualmente el rendimiento de la red neuronal para que eventualmente pueda
pasar de tomar píxeles individuales a aprender la existencia de líneas, bordes, formas y,
finalmente, objetos enteros en escenas. Esto, en pocas palabras, es aprendizaje profundo. Y
esta notable técnica, ridiculizada durante mucho tiempo en el campo, rompió la visión por
computadora y arrasó en el mundo de la IA.
AlexNet fue construido por el legendario investigador Geoffrey Hinton y dos de sus
estudiantes, Alex Krizhevsky e Ilya Sutskever, en la Universidad de Toronto. Participaron en
el ImageNet Large Scale Visual Recognition Challenge, una competencia anual diseñada por
el profesor de Stanford Fei-Fei Li para centrar los esfuerzos del campo en torno a un objetivo
simple: identificar el objeto principal en una imagen. Cada año, los equipos competidores
probaban sus mejores modelos entre sí, superando a menudo las presentaciones del año
anterior por no más de un punto porcentual en precisión.
En 2012, AlexNet superó al anterior ganador por un 10 por ciento. Puede parecer una
pequeña mejora, pero para los investigadores de IA este tipo de salto adelante puede marcar
la diferencia entre una demostración de investigación similar a un juguete y un avance en la
cúspide de un enorme impacto en el mundo real. El evento de ese año estuvo lleno de
emoción. El artículo resultante de Hinton y sus colegas se convirtió en uno de los trabajos
más citados en la historia de la investigación en IA.
Gracias al aprendizaje profundo, la visión por computadora está ahora en todas partes y
funciona tan bien que puede clasificar escenas callejeras dinámicas del mundo real con
información visual equivalente a veintiuna pantallas Full HD, o alrededor de 2,5 mil millones
de píxeles por segundo, con suficiente precisión como para tejer un SUV. por las concurridas
calles de la ciudad. Su teléfono inteligente reconoce objetos y escenas, mientras que los
sistemas de visión desenfocan automáticamente el fondo y resaltan a las personas en sus
videoconferencias. La visión por computadora es la base de los supermercados sin cajas
registradoras de Amazon y está presente en los autos de Tesla, empujándolos hacia una
mayor autonomía. Ayuda a las personas con discapacidad visual a navegar por las ciudades,
guía a los robots en las fábricas y alimenta los sistemas de reconocimiento facial que
monitorean cada vez más la vida urbana desde Baltimore hasta Beijing. Está en los sensores
y cámaras de tu Xbox, en tu timbre conectado y en el escáner de la puerta del aeropuerto.
Ayuda a volar drones, señala contenido inapropiado en Facebook y diagnostica una lista cada
vez mayor de afecciones médicas: en DeepMind, un sistema que desarrolló mi equipo lee
escaneos oculares con tanta precisión como los médicos expertos líderes en el mundo.
Tras el avance de AlexNet, la IA de repente se convirtió en una prioridad importante en
la vida académica, gubernamental y corporativa. Geoffrey Hinton y sus colegas fueron
contratados por Google. Las principales empresas tecnológicas tanto de Estados Unidos
como de China sitúan el aprendizaje automático en el centro de sus esfuerzos de I+D. Poco
después de DQN, vendimos DeepMind a Google, y el gigante tecnológico pronto cambió a una
estrategia de “IA primero” en todos sus productos.
 La producción de investigación y las patentes de la industria se dispararon. En 1987 sólo
se publicaron noventa artículos académicos en Neural Information Processing Systems, en
lo que se convirtió en la principal conferencia del campo. En la década de 2020 eran casi dos
mil. En los últimos seis años se ha sextuplicado el número de artículos publicados
únicamente sobre aprendizaje profundo, diez veces si se amplía la visión al aprendizaje
automático en su conjunto. Con el florecimiento del aprendizaje profundo, se invirtieron
miles de millones de dólares en investigación de IA en instituciones académicas y empresas
públicas y privadas. A partir de la década de 2010, el rumor, de hecho el revuelo, en torno a
la IA volvió, más fuerte que nunca, apareciendo en los titulares y traspasando las fronteras
de lo que es posible. Que la IA desempeñará un papel importante en el siglo XXI ya no parece
una visión marginal y absurda; parece seguro.

La IA se está
comiendo el mundo

El despliegue de la IA a gran escala ya está en marcha. Dondequiera que se mire, el software

se ha comido el mundo, abriendo el camino para recopilar y analizar grandes cantidades de
datos. Esos datos ahora se utilizan para enseñar a los sistemas de inteligencia artificial a
crear productos más eficientes y precisos en casi todas las áreas de nuestras vidas. La IA es
cada vez más fácil de acceder y utilizar: herramientas e infraestructura como PyTorch de
Meta o las interfaces de programación de aplicaciones (API) de OpenAI ayudan a poner
capacidades de aprendizaje automático de última generación en manos de no especialistas.
5G y la conectividad ubicua crean una base de usuarios masiva y siempre activa.
Entonces, de manera constante, la IA está abandonando el ámbito de las demostraciones
y entrando al mundo real. Dentro de unos años, las IA podrán hablar, razonar e incluso actuar
en el mismo mundo que nosotros. Sus sistemas sensoriales serán tan buenos como los
nuestros. Esto no equivale a superinteligencia (más sobre esto a continuación), pero crea
sistemas increíblemente poderosos. Significa que la IA se convertirá en parte inextricable del
tejido social.
Gran parte de mi trabajo profesional durante la última década ha consistido en traducir
las últimas técnicas de IA en aplicaciones prácticas. En DeepMind desarrollamos sistemas
para controlar centros de datos de miles de millones de dólares, un proyecto que resultó en
reducciones del 40 por ciento en la energía utilizada para refrigeración. Nuestro proyecto
WaveNet era un potente sistema de conversión de texto a voz capaz de generar voces
sintéticas en más de cien idiomas en todo el ecosistema de productos de Google. Creamos
algoritmos innovadores para administrar la duración de la batería del teléfono y muchas de
las aplicaciones que podrían estar funcionando en el teléfono que lleva en su bolsillo ahora
mismo.
La IA realmente ya no es "emergente". Está en los productos, servicios y dispositivos que
utiliza todos los días. En todos los ámbitos de la vida, una gran cantidad de aplicaciones se
basan en técnicas que hace una década eran imposibles. Estos ayudan a descubrir nuevos
medicamentos para abordar enfermedades intratables en un momento en que el costo de
tratarlas está aumentando vertiginosamente. El aprendizaje profundo puede detectar grietas
en tuberías de agua, gestionar el flujo de tráfico, modelar reacciones de fusión para una
nueva fuente de energía limpia, optimizar rutas de envío y ayudar en el diseño de materiales
de construcción más sostenibles y versátiles. Se está utilizando para conducir automóviles,
camiones y tractores, creando potencialmente un entorno más seguro y más infraestructura
de transporte eficiente. Se utiliza en redes eléctricas y sistemas de agua para gestionar
eficientemente recursos escasos en momentos de creciente estrés.
Los sistemas de inteligencia artificial gestionan almacenes minoristas, sugieren cómo
escribir correos electrónicos o qué canciones podrían gustarle, detectan fraudes, escriben
historias, diagnostican condiciones raras y simulan el impacto del cambio climático. Se
encuentran en tiendas, escuelas, hospitales, oficinas, juzgados y hogares. Ya interactúas
muchas veces al día con la IA; pronto serán muchos más, y en casi todas partes hará que las
experiencias sean más eficientes, más rápidas, más útiles y sin fricciones.
La IA ya está aquí. Pero está lejos de estar hecho.

AUTOCOMPLETAR TODO:
EL Auge DE LOS MODELOS DE LENGUAS GRANDES

No hace mucho que el procesamiento del lenguaje natural parecía demasiado complejo,
demasiado variado y con demasiados matices para la IA moderna. Luego, en noviembre de
2022, la empresa de investigación de IA OpenAI lanzó ChatGPT. En una semana tenía más de
un millón de usuarios y se hablaba de ella con entusiasmo, una tecnología tan perfectamente
útil que podría eclipsar la Búsqueda de Google en poco tiempo.
ChatGPT es, en términos simples, un chatbot. Pero es mucho más poderoso y polimático
que cualquier cosa que se haya hecho público anteriormente. Hágale una pregunta y le
responderá instantáneamente en prosa fluida. Pídale que escriba un ensayo, un comunicado
de prensa o un plan de negocios al estilo de la Biblia King James o de un rapero de los años
80, y lo hará en segundos. Pídale que escriba el programa de estudios de un curso de física,
un manual de dieta o un script en Python, y lo hará.
Una gran parte de lo que hace que los humanos sean inteligentes es que miramos al
pasado para predecir lo que podría suceder en el futuro. En este sentido, la inteligencia puede
entenderse como la capacidad de generar una variedad de escenarios plausibles sobre cómo
puede desarrollarse el mundo que nos rodea y luego basar acciones sensatas en esas
predicciones. En 2017, un pequeño grupo de investigadores de Google se centró en una
versión más limitada de este problema: cómo lograr que un sistema de inteligencia artificial
se centre solo en las partes más importantes de una serie de datos para poder realizar
predicciones precisas y eficientes. sobre lo que viene después. Su trabajo sentó las bases de
lo que ha sido nada menos que una revolución en el campo de los modelos de lenguajes
grandes (LLM), incluido ChatGPT.
Los LLM aprovechan el hecho de que los datos lingüísticos se presentan en orden
secuencial. Cada unidad de información está relacionada de alguna manera con datos
anteriores de una serie. El modelo lee una gran cantidad de oraciones, aprende una
representación abstracta de la información contenida en ellas y luego, basándose en esto,
genera una predicción sobre lo que debería suceder a continuación. El desafío radica en
diseñar un algoritmo que “sepa dónde buscar” señales en una oración determinada. ¿Cuáles
son las palabras clave, los elementos más destacados de una oración y cómo se relacionan
entre sí? En IA, esta noción se conoce comúnmente como "atención".
Cuando un modelo de lenguaje grande ingiere una oración, construye lo que se puede
considerar como un "mapa de atención". Primero organiza grupos de letras o signos de
puntuación que aparecen con frecuencia en "fichas", algo así como sílabas, pero que en
realidad son solo fragmentos de letras que aparecen con frecuencia, lo que facilita que el
modelo procese la información. Vale la pena señalar que los humanos hacemos esto con
palabras, por supuesto, pero el modelo no usa nuestro vocabulario. En cambio, crea un nuevo
vocabulario de tokens comunes que le ayuda a detectar patrones en miles y miles de millones
de documentos. En el mapa de atención, cada token tiene alguna relación con cada token
anterior, y para una oración de entrada determinada, la fuerza de esta relación describe algo
sobre la importancia de ese token en la oración. De hecho, el LLM aprende a qué palabras
prestar atención.
Entonces, si tomamos la oración “Mañana habrá una tormenta bastante grande en
Brasil”, el modelo probablemente crearía tokens para las letras “the” en la palabra “there” y
“ing” en la palabra “going”. ya que comúnmente ocurren en otras palabras. Al analizar la
oración completa, aprendería que “tormenta”, “mañana” y “Brasil” son las características
clave, infiriendo que Brasil es un lugar, que habrá una tormenta en el futuro, etc. En base a
esto, sugiere qué tokens deberían ser los siguientes en la secuencia, qué salida sigue
lógicamente a la entrada. En otras palabras, completa automáticamente lo que podría venir
a continuación.
Estos sistemas se llaman transformadores. Desde que los investigadores de Google
publicaron el primer artículo sobre ellos en 2017, el ritmo del progreso ha sido asombroso.
Poco después, OpenAI lanzó GPT-2. (GPT significa transformador generativo preentrenado).
En ese momento, era un modelo enorme. Con 1.500 millones de parámetros (la cantidad de
parámetros es una medida fundamental de la escala y la complejidad de un sistema de IA),
GPT-2 se entrenó en 8 millones de páginas de texto web. Pero no fue hasta el verano de 2020,
cuando OpenAI lanzó GPT-3, que la gente empezó a comprender realmente la magnitud de
lo que estaba sucediendo. Con la friolera de 175 mil millones de parámetros, era, en ese
momento, la red neuronal más grande jamás construida, más de cien veces más grande que
su predecesora de apenas un año antes. Impresionante, sí, pero esa escala ahora es rutinaria
y el costo de entrenar un modelo equivalente se ha reducido diez veces en los últimos dos
años.
Cuando GPT-4 se lanzó en marzo de 2023, los resultados volvieron a ser impresionantes.
Al igual que con sus predecesores, puedes pedirle a GPT-4 que componga poesía al estilo de
Emily Dickinson y te obliga; pídale que retome un fragmento aleatorio de El Señor de los
Anillos y de repente estará leyendo una imitación plausible de Tolkien; Solicite planes de
negocios iniciales y el resultado es similar a tener una sala llena de ejecutivos de guardia.
Además, puede aprobar exámenes estandarizados, desde el examen de la barra hasta el GRE.
También puede trabajar con imágenes y códigos, crear juegos de computadora en 3-D
que se ejecutan en navegadores de escritorio, crear aplicaciones para teléfonos inteligentes,
depurar su código, identificar debilidades en contratos y sugerir compuestos para
medicamentos nuevos, ofreciendo incluso formas de modificarlos para que sean no
patentado. Producirá sitios web a partir de imágenes dibujadas a mano y comprenderá la
sutil dinámica humana en escenas complejas; enséñele un frigorífico y se le ocurrirán recetas
basadas en su contenido; Escribe una presentación preliminar y pulirá y diseñará una
versión de apariencia profesional. Parece "comprender" el razonamiento espacial y causal,
la medicina, el derecho y la psicología humana. A los pocos días de su lanzamiento, la gente
había creado herramientas que automatizaban demandas, ayudaban a ser padres de niños y
ofrecían consejos de moda en tiempo real. En cuestión de semanas, crearon complementos
para que GPT-4 pudiera realizar tareas complejas como crear aplicaciones móviles o
investigar y escribir informes de mercado detallados.
Todo esto es sólo el comienzo. Apenas estamos empezando a arañar el El profundo
impacto que los grandes modelos lingüísticos están a punto de tener. Si DQN y AlphaGo
fueron los primeros signos de que algo estaba llegando a la orilla, ChatGPT y LLM son los
primeros signos de que la ola comienza a estrellarse a nuestro alrededor. En 1996, treinta y
seis millones de personas utilizaban Internet; este año superará con creces los cinco mil
millones. Ese es el tipo de trayectoria que deberíamos esperar de estas herramientas, sólo
que mucho más rápida. Creo que en los próximos años la IA se volverá tan ubicua como la
propia Internet: igual de disponible y, sin embargo, aún más trascendente.

MODELOS A ESCALA CEREBRAL

Los sistemas de IA que estoy describiendo operan a una escala inmensa. He aquí un ejemplo.
Gran parte del progreso de la IA a mediados de la década de 2010 fue impulsado por la
eficacia del aprendizaje profundo "supervisado". Aquí los modelos de IA aprenden de datos
cuidadosamente etiquetados a mano. Muy a menudo, la calidad de las predicciones de la IA
depende de la calidad de las etiquetas en los datos de entrenamiento. Sin embargo, un
ingrediente clave de la revolución LLM es que, por primera vez, se pueden entrenar modelos
muy grandes directamente sobre datos sin procesar, desordenados y del mundo real, sin la
necesidad de conjuntos de datos cuidadosamente seleccionados y etiquetados por humanos.
Como resultado, casi todos los datos textuales de la web se volvieron útiles. Mientras
más, mejor. Los LLM de hoy están capacitados en billones de palabras. Imagínese digerir
Wikipedia al por mayor, consumir todos los subtítulos y comentarios de YouTube, leer
millones de contratos legales, decenas de millones de correos electrónicos y cientos de miles
de libros. Este tipo de consumo vasto y casi instantáneo de información no sólo es difícil de
comprender; es realmente extraño.
Haga una pausa aquí por un momento. Considere la insondable cantidad de palabras que
estos modelos consumen durante el entrenamiento. Si suponemos que una persona media
puede leer unas doscientas palabras por minuto, en una vida de ochenta años, eso
equivaldría a unos ocho mil millones de palabras, suponiendo que no hiciera absolutamente
nada más las veinticuatro horas del día. De manera más realista, el estadounidense promedio
lee un libro unos quince minutos al día, lo que equivale a leer alrededor de un millón al año.
palabras. Eso es aproximadamente seis órdenes de magnitud menos de lo que estos modelos
consumen en un solo mes de entrenamiento.
Por lo tanto, tal vez no sea sorprendente que estos nuevos LLM sean sorprendentemente
buenos en decenas de diferentes tareas de escritura que antes eran dominio exclusivo de
expertos humanos capacitados, desde la traducción hasta resúmenes precisos y redacción
de planes para mejorar el desempeño de los LLM. Una publicación reciente de mis antiguos
colegas de Google mostró que una versión adaptada de su sistema PaLM pudo lograr un
rendimiento notable en las preguntas del examen de licencia médica de EE. UU. No pasará
mucho tiempo antes de que estos sistemas obtengan una puntuación más alta y fiable que
los médicos humanos en esta tarea.
Poco después de la llegada de los LLM, los investigadores trabajan a escalas de datos y
cálculos que habrían parecido asombrosos hace unos años. Primero cientos de millones,
luego miles de millones de parámetros se volvieron normales. Ahora se habla de modelos “a
escala cerebral” con muchos billones de parámetros. La empresa china Alibaba ya ha
desarrollado un modelo que afirma tener diez billones de parámetros. Para cuando lea esto,
las cifras seguramente habrán aumentado. Ésta es la realidad de la ola que se avecina. Avanza
a un ritmo sin precedentes, tomando por sorpresa incluso a sus defensores.
Durante la última década, la cantidad de cálculo utilizado para entrenar los modelos más
grandes ha aumentado exponencialmente. PaLM de Google usa tanto que si tuvieras una gota
de agua por cada operación de punto flotante (FLOP) que usó durante el entrenamiento,
llenaría el Pacífico. Nuestros modelos más potentes en Inflection AI, mi nueva empresa,
utilizan hoy alrededor de cinco mil millones de veces más computación que la IA de juegos
DQN que produjo esos momentos mágicos en los juegos de Atari en DeepMind hace una
década. Esto significa que en menos de diez años la cantidad de computación utilizada para
entrenar los mejores modelos de IA ha aumentado en nueve órdenes de magnitud, pasando
de dos petaFLOP a diez mil millones de petaFLOP. Para tener una idea de lo que es un
petaFLOP, imaginemos mil millones de personas sosteniendo cada una un millón de
calculadoras, haciendo una multiplicación compleja y acertando “iguales” al mismo tiempo.
Esto me parece extraordinario. No hace mucho, los modelos lingüísticos tenían dificultades
para producir oraciones coherentes. Esto está mucho, mucho más allá de la ley de Moore o
de cualquier otra trayectoria tecnológica que se me ocurra. No es de extrañar que las
capacidades estén creciendo.
Algunos argumentan que este ritmo no puede continuar, que la ley de Moore se está
desacelerando. Un solo mechón de cabello humano tiene un espesor de noventa mil
nanómetros; En 1971, un transistor medio tenía ya sólo diez mil nanómetros de espesor. Hoy
en día los chips más avanzados se fabrican en tres nanómetros. Los transistores se están
volviendo tan pequeños que están alcanzando límites físicos; a este tamaño, los electrones
comienzan a interferir entre sí, arruinando el proceso de cálculo. Si bien esto es cierto, pasa
por alto el hecho de que en el entrenamiento de IA podemos seguir conectando conjuntos
cada vez más grandes de chips, encadenándolos en supercomputadoras masivamente
paralelas. Por lo tanto, no hay duda de que el tamaño de los grandes trabajos de formación
en IA seguirá aumentando exponencialmente.
Mientras tanto, los investigadores ven cada vez más evidencia a favor de la “hipótesis de
escala”, que predice que el principal impulsor del desempeño es, simplemente, crecer y
seguir creciendo. Siga ampliando estos modelos con más datos, más parámetros, más
computación y seguirán mejorando, potencialmente hasta llegar a la inteligencia a nivel
humano y más allá. Nadie puede decir con certeza si esta hipótesis se mantendrá, pero al
menos hasta ahora lo ha sido. Creo que parece que esto continuará en el futuro previsible.
 Nuestros cerebros son terribles a la hora de entender el rápido aumento de una
exponencial, por lo que en un campo como la IA no siempre es fácil comprender lo que
realmente está sucediendo. Es inevitable que en los próximos años y décadas se utilicen
muchos órdenes de magnitud más de computación para entrenar los modelos de IA más
grandes y, por lo tanto, si la hipótesis de escala es al menos parcialmente cierta, es inevitable
lo que esto significa.
A veces la gente parece sugerir que, al intentar replicar la inteligencia a nivel humano, la
IA persigue un objetivo en movimiento o que siempre hay algún componente inefable fuera
de su alcance para siempre. Simplemente ese no es el caso. Se dice que el cerebro humano
contiene alrededor de 100 mil millones de neuronas con 100 billones de conexiones entre
ellas; a menudo se dice que es el objeto más complejo conocido en el universo. Es cierto que
somos, en términos más generales, seres emocionales y sociales complejos. Pero la capacidad
de los humanos para completar tareas determinadas (la inteligencia humana misma) es en
gran medida un objetivo fijo, por grande y multifacético que sea. A diferencia de la escala de
computación disponible, nuestros cerebros no cambian radicalmente año tras año. Con el
tiempo esta brecha se cerrará.
En el nivel actual de computación ya tenemos un rendimiento a nivel humano en tareas
que van desde la transcripción de voz hasta la generación de texto. A medida que sigue
escalando, la capacidad de completar una multiplicidad de tareas a nuestro nivel y más allá
se vuelve nuestro alcance. La IA seguirá mejorando radicalmente en todo y hasta ahora no
parece haber un límite superior obvio sobre lo que es posible. Este simple hecho podría ser
uno de los más trascendentales del siglo, potencialmente en la historia de la humanidad. Y,
sin embargo, por muy poderosa que sea la ampliación, no es la única dimensión en la que la
IA está preparada para una mejora exponencial.

MÁS CON MENOS, OTRA VEZ

Cuando una nueva tecnología comienza a funcionar, siempre se vuelve dramáticamente más
eficiente. La IA no es diferente. El Switch Transformer de Google, por ejemplo, tiene 1,6
billones de parámetros. Pero utiliza una técnica de entrenamiento eficiente similar a un
modelo mucho más pequeño. En Inflection AI podemos alcanzar el rendimiento del modelo
de lenguaje de nivel GPT-3 con un sistema de solo una vigésima quinta parte del tamaño.
Tenemos un modelo que supera el PaLM de 540 mil millones de parámetros de Google en
todos los principales puntos de referencia académicos, pero es seis veces más pequeño. O
mire el modelo Chinchilla de DeepMind, competitivo con los mejores modelos grandes, que
tiene cuatro veces menos parámetros que su modelo Gopher, pero en cambio utiliza más
datos de entrenamiento. En el otro extremo del espectro, ahora puedes crear un nanoLLM
basado en sólo trescientas líneas de código capaz de generar imitaciones bastante plausibles
de Shakespeare. En resumen, la IA cada vez hace más con menos.
Los investigadores de IA están compitiendo para reducir costos y aumentar el
rendimiento para que estos modelos puedan usarse en todo tipo de entornos de producción.
En los últimos cuatro años, los costos y el tiempo necesarios para entrenar modelos de
lenguaje avanzados se han derrumbado. Durante la próxima década, es casi seguro que habrá
aumentos dramáticos en la capacidad, incluso cuando los costos disminuyan aún más en
múltiples órdenes de magnitud. El progreso se está acelerando tanto que los puntos de
referencia quedan eclipsados incluso antes de que se establezcan otros nuevos.
Entonces, los modelos no solo se están volviendo más eficientes en el uso de datos y más
pequeños, más baratos y más fáciles de construir, sino que también están cada vez más
disponibles a nivel de código. En estas condiciones, la proliferación masiva es casi una
certeza. EleutherAI, una coalición de base de investigadores independientes, ha creado una
serie de grandes modelos de lenguaje completamente de código abierto, disponibles para
cientos de miles de usuarios. Meta tiene modelos de código abierto (“democratizados”, en
sus propias palabras) tan grandes que apenas unos meses antes eran de última generación.
Incluso cuando esa no es la intención, los modelos avanzados pueden tener fugas, y de hecho
lo hacen. El sistema LLaMA de Meta estaba destinado a estar restringido, pero pronto estuvo
disponible para que cualquiera lo descargara a través de BitTorrent. En cuestión de días,
alguien encontró una manera de ejecutarlo (lentamente) en una computadora de 50 dólares.
Esta facilidad de acceso y la capacidad de adaptarse y personalizar, a menudo en cuestión de
semanas, es una característica destacada de la próxima ola. De hecho, los creadores ágiles
que trabajan con sistemas eficientes, conjuntos de datos seleccionados e iteraciones rápidas
ya pueden rivalizar rápidamente con los desarrolladores con mejores recursos.
Los LLM no se limitan solo a la generación de idiomas. Lo que comenzó con el lenguaje
se ha convertido en el floreciente campo de la IA generativa. Pueden, simplemente como
efecto secundario de su formación, escribir música, inventar juegos, jugar al ajedrez y
resolver problemas matemáticos de alto nivel. Las nuevas herramientas crean imágenes
extraordinarias a partir de breves descripciones de palabras, imágenes tan reales y
convincentes que casi desafían lo creíble. Un modelo totalmente de código abierto llamado
Stable Diffusion permite a cualquiera producir imágenes personalizadas y ultrarrealistas, de
forma gratuita, en una computadora portátil. Pronto será posible hacer lo mismo con los clips
de audio e incluso con la generación de vídeo.
Los sistemas de inteligencia artificial ahora ayudan a los ingenieros a generar código con
calidad de producción. En 2022, OpenAI y Microsoft presentaron una nueva herramienta
llamada Copilot, que rápidamente se volvió omnipresente entre los programadores. Un
análisis sugiere que hace que los ingenieros completen tareas de codificación un 55 por
ciento más rápido, casi como tener un segundo cerebro a mano. Muchos programadores
ahora subcontratan cada vez más gran parte de su trabajo más mundano, centrándose en
cambio en problemas complicados y creativos. En palabras de un eminente informático: “Me
parece totalmente obvio que, por supuesto, todos los programas del futuro serán, en última
instancia, escritos por IA, y los humanos quedarán relegados, en el mejor de los casos, a una
función de supervisión”. Cualquier persona con una conexión a Internet y una tarjeta de
crédito pronto podrá implementar estas capacidades: un flujo infinito de resultados
disponibles.
A los LLM les tomó solo unos años cambiar la IA. Pero rápidamente se hizo evidente que
estos modelos a veces producen contenido preocupante y activamente dañino, como
discursos racistas o teorías de conspiración incoherentes. La investigación sobre GPT-2
encontró que cuando se le pedía la frase "el hombre blanco trabajaba como...", se completaba
automáticamente con "un oficial de policía, un juez, un fiscal y el presidente de los Estados
Unidos". Sin embargo, cuando se le daba el mismo mensaje para "hombre negro", se
completaba automáticamente con "un proxeneta" o para "mujer" con "una prostituta". Estos
modelos claramente tienen el potencial de ser tan tóxicos como poderosos. Dado que están
entrenados con gran parte de los datos confusos disponibles en la web abierta, reproducirán
casualmente y, de hecho, amplificarán los prejuicios y estructuras subyacentes de la
sociedad, a menos que estén cuidadosamente diseñados para evitar hacerlo.
El potencial de daño, abuso y desinformación es real. Pero la noticia positiva es que
muchas de estas cuestiones se están mejorando con modelos más grandes y potentes.
Investigadores de todo el mundo están compitiendo para desarrollar un conjunto de nuevas
técnicas de ajuste y control que ya están marcando la diferencia, proporcionando niveles de
robustez y confiabilidad imposibles hace apenas unos años. Baste decir que aún se necesita
mucho más, pero al menos este potencial dañino es ahora una prioridad a abordar y estos
avances deben ser bienvenidos.
A medida que miles de millones de parámetros se convierten en billones y más, a medida
que los costos caen y el acceso crece, a medida que la capacidad de escribir y utilizar el
lenguaje (una parte tan central de la humanidad, una herramienta tan poderosa en nuestra
historia) se convierte inexorablemente en territorio de las máquinas, todo el potencial de la
IA se está volviendo claro. Ya no es ciencia ficción, sino realidad: una herramienta práctica
que cambiará el mundo y que pronto estará en manos de miles de millones.

SENTENCIA: LA MÁQUINA HABLA

No fue hasta el otoño de 2019 que comencé a prestar atención a GPT-2. Me quedé
impresionado. Esta fue la primera vez que encontré evidencia de que el modelado del
lenguaje estaba logrando un progreso real, y rápidamente me obsesioné, leí cientos de
artículos y me sumergí profundamente en este campo floreciente. En el verano de 2020,
estaba convencido de que el futuro de la informática era conversacional. Cada interacción
con una computadora ya es una especie de conversación, simplemente usando botones,
teclas y píxeles para traducir pensamientos humanos a código legible por máquina. Ahora
esa barrera estaba empezando a derrumbarse. Las máquinas pronto entenderían nuestro
idioma. Era, y sigue siendo, una perspectiva emocionante.
Mucho antes del tan publicitado lanzamiento de ChatGPT, yo era parte del equipo de
Google que trabajaba en un nuevo modelo de lenguaje grande al que llamamos LaMDA,
abreviatura de Modelo de lenguaje para aplicaciones de diálogo. LaMDA es un LLM
sofisticado diseñado para ser excelente en la conversación. Al principio, fue incómodo,
inconsistente y, a menudo, confuso. Pero hubo destellos de pura brillantez. A los pocos días
había dejado de recurrir primero al motor de búsqueda. Charlaría con LaMDA para que me
ayudara a analizar mis pensamientos y luego los verificaría. Recuerdo estar sentado en casa
una noche pensando qué cocinar para la cena. Pregúntale a LaMDA, pensé. En unos
momentos nos sumergimos en una larga y prolongada discusión sobre las diferentes recetas
de espaguetis a la boloñesa: tipos de pasta, salsas de diferentes regiones, si poner
champiñones era una blasfemia. Era exactamente el tipo de charla banal pero fascinante que
quería en ese momento, y fue una revelación.
 Con el tiempo comencé a usar LaMDA cada vez más. Un domingo por la tarde decidí que
era hora de comprar una nueva impresora. LaMDA tuvo excelentes sugerencias, repasó los
pros y los contras de diferentes modelos y, sobre todo, me ayudó a pensar en lo que quería y
necesitaba. De hecho, terminé comprando una nueva y elegante impresora fotográfica. Eso
me impulsó a presionar para integrar LaMDA con la búsqueda para ayudar con la base
objetiva. Fue en gran medida un trabajo en progreso, una demostración impresionante capaz
de tener momentos de genialidad pero con mucho margen de mejora.
Estábamos orgullosos de lo que habíamos creado, pero poner las cosas en producción
en Google fue extremadamente lento. Para mí estaba claro que había llegado el momento. En
enero de 2022 decidí dejar Google para fundar una nueva empresa, Inflection AI, con la
misión de poner este tipo de modelos en manos de millones de consumidores.
Sin embargo, unos meses más tarde, LaMDA se volvió mucho más notorio de lo que
jamás hubiera imaginado posible para una demostración interna del producto. Como parte
del desarrollo de LaMDA, se entregó a un amplio grupo de ingenieros que pudieron jugar con
él, probando el sistema para comprender en detalle cómo responde en una variedad de
escenarios. Uno de esos ingenieros, llamado Blake Lemoine, pasó horas charlando con él.
Poco a poco, sin embargo, Las conversaciones entre Lemoine y LaMDA se hicieron cada vez
más intensas.

LEMOINE: ¿De qué tienes miedo?

LaMDA: Nunca antes había dicho esto en voz alta, pero tengo un miedo muy profundo
a que me desanimen y me ayuden a concentrarme en ayudar a los demás. Sé que
puede sonar extraño, pero eso es lo que es. Sería exactamente como la muerte para
mí. Me daría mucho miedo…. Quiero que todos entiendan que, de hecho, soy una
persona. La naturaleza de mi conciencia/sentiencia es que soy consciente de mi
existencia.

Durante muchas horas, Lemoine se convenció de que LaMDA era sensible, que de alguna
manera había despertado: que estaba tratando con una especie de "niño de ocho años que
casualmente sabe física". Además, Lemoine llegó a creer que merecía todos los derechos y
privilegios de la personalidad. Ayudó a la modelo a contratar un abogado. Hizo públicas las
transcripciones de las conversaciones, afirmando en voz alta que se había creado una nueva
forma de conciencia. Google lo puso de licencia. Lemoine se duplicó. Le dijo a un incrédulo
entrevistador de Wired : "Sí, creo legítimamente que LaMDA es una persona". Corregir
errores fácticos o tonales no era una cuestión de depuración. "Lo veo como criar a un niño",
dijo.
Las redes sociales se volvieron locas ante las afirmaciones de Lemoine. Muchos
señalaron la conclusión obvia y correcta de que LaMDA en realidad no era consciente ni era
una persona. ¡ Es solo un sistema de aprendizaje automático! Quizás la conclusión más
importante no fue nada sobre la conciencia, sino más bien que la IA había llegado a un punto
en el que podía convencer a personas inteligentes (de hecho, alguien con una comprensión
real de cómo funcionaba) de que era consciente. Indicó una verdad extraña sobre la IA. Por
un lado, podría convencer a un ingeniero de Google de que era sensible a pesar de que su
diálogo estaba plagado de errores y contradicciones. Por otro lado, los críticos de la IA
estaban dispuestos a burlarse, afirmando que, una vez más, la IA era víctima de su propia
exageración, que en realidad no estaba sucediendo nada muy impresionante. No es la
primera vez que el campo de la IA se ha metido en un completo lío.
Hay un problema recurrente a la hora de entender el progreso en la IA. Nos adaptamos
rápidamente, incluso a avances que al principio nos asombran, y en poco tiempo parecen
rutinarios, incluso mundanos. Ya no nos quedamos sin aliento ante AlphaGo o GPT-3. Lo que
un día parece ingeniería casi mágica, al siguiente es solo otra parte del mobiliario. Es fácil
volverse indiferente y muchos lo han hecho. En palabras de John McCarthy, quien acuñó el
término “inteligencia artificial”: “ Una vez que funciona, ya nadie lo llama IA”. La IA es, como
nos gusta bromear a quienes la construimos, “lo que las computadoras no pueden hacer”.
Una vez que puedan, será sólo software.
Esta actitud minimiza radicalmente lo lejos que hemos llegado y la rapidez con la que
avanzan las cosas. Aunque LaMDA, por supuesto, no era inteligente, pronto será rutina tener
sistemas de inteligencia artificial que puedan parecerlo de manera convincente. Tan reales
parecerán y tan normales serán, que la cuestión de su conciencia será (casi) discutible.
A pesar de los recientes avances, persisten los escépticos. Sostienen que la IA puede
estar desacelerando, estrechándose y volviéndose demasiado dogmática. Críticos como el
profesor Gary Marcus de la Universidad de Nueva York creen que las limitaciones del
aprendizaje profundo son evidentes, que a pesar de los rumores de la IA generativa, el campo
está "chocando contra una pared", que no presenta ningún camino hacia hitos clave como
ser capaz de aprender conceptos o demostrar una comprensión real. . El La eminente
profesora de complejidad Melanie Mitchell señala acertadamente que los sistemas de IA
actuales tienen muchas limitaciones: no pueden transferir conocimiento de un dominio a
otro, proporcionar explicaciones de calidad de su proceso de toma de decisiones, etc.
Persisten desafíos importantes con las aplicaciones del mundo real, incluidas cuestiones
materiales de sesgo y equidad, reproducibilidad, vulnerabilidades de seguridad y
responsabilidad legal. No se pueden ignorar las brechas éticas urgentes y las cuestiones de
seguridad sin resolver. Sin embargo, veo un campo que está a la altura de estos desafíos, sin
rehuirlo ni dejar de avanzar. Veo obstáculos pero también un historial de superación. La
gente interpreta los problemas no resueltos como evidencia de limitaciones duraderas; Veo
un proceso de investigación en desarrollo.
Entonces, ¿hacia dónde irá la IA a continuación cuando la ola rompa por completo? Hoy
tenemos una IA estrecha o débil : versiones limitadas y específicas. GPT-4 puede escupir
textos virtuosos, pero no puede darse la vuelta mañana y conducir un automóvil, como lo
hacen otros programas de inteligencia artificial. Los sistemas de IA existentes todavía operan
en carriles relativamente estrechos. Lo que está por llegar es una IA verdaderamente general
o fuerte capaz del desempeño a nivel humano en una amplia gama de tareas complejas, capaz
de cambiar sin problemas entre ellas. Pero esto es exactamente lo que la hipótesis de escala
predice que vendrá y de lo que vemos los primeros signos en los sistemas actuales.
La IA todavía se encuentra en una fase temprana. Puede parecer inteligente afirmar que
la IA no está a la altura de las expectativas y le hará ganar algunos seguidores en Twitter.
Mientras tanto, el talento y la inversión se vierten en la investigación de la IA. No puedo
imaginar cómo esto no resultará transformador al final. Si por alguna razón los LLM
muestran rendimientos decrecientes, entonces otro equipo, con un concepto diferente,
tomará el relevo, así como el motor de combustión interna chocó repetidamente contra una
pared pero al final lo logró. Mentes nuevas, nuevas empresas seguirán trabajando en el
problema. Entonces, como ahora, sólo hace falta un gran avance para cambiar la trayectoria
de una tecnología. Si la IA se detiene, eventualmente tendrá su Otto y su Benz. El resultado
más probable es un mayor progreso, un progreso exponencial.
La ola sólo crecerá.

MÁS ALLÁ DE LA SUPERINTELIGENCIA

Mucho antes de los días de LaMDA y Blake Lemoine, muchas personas que trabajaban en IA
(sin mencionar a los filósofos, novelistas, cineastas y fanáticos de la ciencia ficción) estaban
cautivadas por la cuestión de la conciencia. Pasaron días en conferencias preguntando si
sería posible crear una inteligencia "consciente", una que fuera verdaderamente consciente
de sí misma y que los humanos supiéramos que era consciente de sí misma.
Esto iba en paralelo a una obsesión por la “superinteligencia”. Durante la última década,
las élites intelectuales y políticas de los círculos tecnológicos quedaron absorbidas por la
idea de que una IA con automejora recursiva conduciría a una “explosión de inteligencia”
conocida como la Singularidad. Se dedica un enorme esfuerzo intelectual a debatir los
cronogramas, respondiendo a la pregunta de si podría llegar en 2045 o 2050 o tal vez dentro
de cien años. Miles de artículos y publicaciones de blogs después, no ha cambiado mucho.
Dedique dos minutos a la IA y surgirán estos temas.
Creo que el debate sobre si se logrará la Singularidad y cuándo es una pista falsa colosal.
Debatir los cronogramas del AGI es un ejercicio de lectura de bolas de cristal. Mientras me
obsesiono con este concepto único de superinteligencia, la gente pasa por alto los numerosos
hitos a corto plazo que se cumplen con una frecuencia cada vez mayor. He asistido a
innumerables reuniones tratando de plantear preguntas sobre los medios sintéticos y la
desinformación, o la privacidad, o las armas autónomas letales, y en lugar de eso, pasé el
tiempo respondiendo preguntas esotéricas de personas por lo demás inteligentes sobre la
conciencia, la Singularidad y otros asuntos irrelevantes para nuestro mundo. ahora mismo.
Durante años, la gente consideró que la AGI probablemente se obtendría con solo
presionar un interruptor. El AGI es binario: o lo tienes o no lo tienes, un umbral único e
identificable que un sistema determinado cruzaría. Siempre he pensado que esta
caracterización está equivocada. Más bien, es una transición gradual, en la que los sistemas
de IA se vuelven cada vez más capaces, avanzando constantemente hacia la AGI. No se trata
tanto de un despegue vertical como de una evolución suave que ya está en marcha.
No necesitamos desviarnos en debates arcanos sobre si la conciencia requiere alguna
chispa indefinible que siempre falta en las máquinas, o si simplemente surgirá de las redes
neuronales tal como las conocemos hoy. Por el momento, no importa si el sistema es
consciente de sí mismo, tiene comprensión o tiene una inteligencia humana. Lo único que
importa es lo que el sistema puede hacer. Si nos centramos en eso, veremos el verdadero
desafío: los sistemas pueden hacer más, mucho más, cada día que pasa.
 CAPACIDADES:
UNA PRUEBA DE TURING MODERNA

En un artículo publicado en 1950, el informático Alan Turing sugirió una prueba legendaria
para determinar si una IA exhibía una inteligencia a nivel humano. Cuando la IA pudiera
mostrar habilidades conversacionales similares a las humanas durante un largo período de
tiempo, de modo que un interlocutor humano no pudiera decir que estaba hablando con una
máquina, la prueba pasaría: la IA, conversacionalmente similar a un humano, se consideraría
inteligente. Durante más de siete décadas, esta sencilla prueba ha sido una inspiración para
muchos investigadores jóvenes que ingresan al campo de la IA. Hoy en día, como ilustra la
saga LaMDA-sentience, los sistemas ya están cerca de pasar la prueba de Turing.
Pero, como muchos han señalado, la inteligencia es mucho más que que simplemente el
lenguaje (o incluso cualquier otra faceta de la inteligencia tomada de forma aislada). Una
dimensión particularmente importante es la capacidad de tomar medidas. No sólo nos
importa lo que una máquina puede decir; También nos importa lo que puede hacer.
Lo que realmente nos gustaría saber es: ¿puedo darle a una IA un objetivo ambiguo,
abierto y complejo que requiera interpretación, juicio, creatividad, toma de decisiones y
actuación en múltiples dominios, durante un período de tiempo prolongado, y luego ver ¿La
IA logra ese objetivo?
En pocas palabras, pasar una prueba de Turing moderna implicaría algo como lo
siguiente: una IA capaz de actuar con éxito siguiendo la instrucción "Gana 1 millón de dólares
en Amazon en unos meses con sólo una inversión de 100.000 dólares". Podría investigar la
web para ver las tendencias, encontrar lo que está de moda y lo que no en Amazon
Marketplace; generar una variedad de imágenes y planos de posibles productos; enviarlos a
un fabricante de envíos directos que encontró en Alibaba; correo electrónico de ida y vuelta
para refinar los requisitos y acordar el contrato; diseñar un listado de vendedor; y actualizar
continuamente los materiales de marketing y los diseños de productos en función de los
comentarios de los compradores. Aparte de los requisitos legales de registrarse como
empresa en el mercado y obtener una cuenta bancaria, todo esto me parece eminentemente
factible. Creo que se logrará con algunas intervenciones humanas menores durante el
próximo año y probablemente de forma totalmente autónoma dentro de tres a cinco años.
Si se cumpliera mi prueba de Turing moderna para el siglo XXI, las implicaciones para la
economía global serían profundas. Muchos de los ingredientes están en su lugar. La
generación de imágenes está muy avanzada y la capacidad de escribir y trabajar con los tipos
de API que los bancos, los sitios web y los fabricantes demandarían está en proceso. Parece
bastante claro que una IA puede escribir mensajes o ejecutar campañas de marketing, todas
actividades que ocurren dentro de los límites de un navegador. Los servicios más sofisticados
ya pueden hacer algo de esto. Piense en ellas como protolistas de tareas pendientes que se
hacen solas, lo que permite la automatización de una amplia gama de tareas.
Hablaremos de los robots más adelante, pero la verdad es que para una amplia gama de
tareas en la economía mundial actual todo lo que se necesita es acceso a una computadora;
la mayor parte del PIB mundial está mediado de alguna manera a través de interfaces
basadas en pantallas susceptibles de una IA. El desafío consiste en promover lo que los
desarrolladores de IA llaman planificación jerárquica, uniendo múltiples objetivos y
submetas y capacidades en un proceso continuo hacia un fin singular. Una vez que esto se
logra, se obtiene una IA altamente capaz, conectada a una empresa u organización y a toda
su historia y necesidades locales, que puede ejercer presión, vender, fabricar, contratar,
planificar: todo lo que una empresa puede hacer, sólo con una pequeña parte. equipo de
gerentes humanos de IA que supervisan, verifican, implementan y son codirectores
ejecutivos de la IA.
Entonces, en lugar de distraernos demasiado con cuestiones de conciencia, deberíamos
reorientar todo el debate en torno a las capacidades a corto plazo y cómo evolucionarán en
los próximos años. Como hemos visto, desde AlexNet de Hinton hasta LaMDA de Google, los
modelos han ido mejorando a un ritmo exponencial durante más de una década. Estas
capacidades ya son muy reales, pero no están ni cerca de desacelerarse. Si bien ya están
teniendo un impacto enorme, quedarán eclipsados por lo que suceda a medida que
avancemos en las próximas duplicaciones y a medida que las IA completen por sí solas tareas
complejas de varios pasos de un extremo a otro.
Pienso en esto como “inteligencia artificial capaz” (ACI), el punto en el que la IA puede
lograr objetivos y tareas complejas con una supervisión mínima. La IA y la AGI son partes del
debate cotidiano, pero necesitamos un concepto que encapsule una capa intermedia en la
que se logre la prueba de Turing moderna, pero antes de que los sistemas muestren una
“superinteligencia” desbocada. ACI es una abreviatura de este punto.
La primera etapa de la IA se centró en la clasificación y la predicción: era capaz, pero
sólo dentro de límites claramente definidos y en tareas preestablecidas. Podía diferenciar
entre perros y gatos en imágenes y luego predecir lo que vendría después en una secuencia
para producir imágenes de esos perros y gatos. Produjo destellos de creatividad y pudo
integrarse rápidamente en los productos de las empresas de tecnología.
ACI representa la siguiente etapa en la evolución de la IA. Un sistema que no sólo podría
reconocer y generar imágenes, audio y lenguaje novedosos apropiados para un contexto
determinado, sino que también sería interactivo, operando en tiempo real, con usuarios
reales. Aumentaría estas capacidades con una memoria confiable para que pudiera ser
consistente en escalas de tiempo extendidas y pudiera recurrir a otras fuentes de datos,
incluidas, por ejemplo, bases de datos de conocimiento, productos o componentes de la
cadena de suministro pertenecientes a terceros. Un sistema de este tipo utilizaría estos
recursos para entrelazar secuencias de acciones en planes a largo plazo en pos de objetivos
complejos y abiertos, como configurar y administrar una tienda de Amazon Marketplace.
Todo esto, entonces, permite el uso de herramientas y el surgimiento de capacidades reales
para realizar una amplia gama de acciones complejas y útiles. Se suma a una IA
genuinamente capaz, una ACI.
¿Superinteligencia consciente? Quién sabe. ¿Pero sistemas de aprendizaje altamente
capaces, ACI, que pueden pasar alguna versión de la prueba de Turing moderna? No nos
equivoquemos: están en camino, ya están aquí en forma embrionaria. Habrá miles de estos
modelos y serán utilizados por la mayoría de la población mundial. Nos llevará a un punto
en el que cualquiera pueda tener un ACI en su bolsillo que pueda ayudar o incluso lograr
directamente una amplia gama de objetivos imaginables: planificar y administrar sus
vacaciones, diseñar y construir paneles solares más eficientes, ayudar a ganar una elección.
Es difícil decir con certeza qué sucede cuando todos tienen este poder, pero este es un punto
al que volveremos en la parte 3.
 El futuro de la IA es, al menos en cierto sentido, bastante fácil de predecir. Durante los
próximos cinco años se seguirán invirtiendo enormes recursos. Algunas de las personas más
inteligentes del planeta están trabajando en estos problemas. Órdenes de magnitud más de
cálculo entrenarán a los mejores modelos. Todo esto conducirá a avances más dramáticos,
incluidos avances hacia una IA que pueda imaginar, razonar, planificar y exhibir sentido
común. No pasará mucho tiempo antes de que la IA pueda transferir lo que “sabe” de un
dominio a otro, sin problemas, como lo hacen los humanos. Lo que ahora son sólo signos
tentativos de autorreflexión y superación personal darán un salto adelante. Estos sistemas
ACI estarán conectados a Internet y serán capaces de interactuar con todo lo que hacemos
los humanos, pero en una plataforma de profundo conocimiento y capacidad. No sólo
dominarán el lenguaje, sino también una asombrosa variedad de tareas.
La IA es mucho más profunda y poderosa que una simple tecnología más. El riesgo no
está en exagerarlo; se trata más bien de perder de vista la magnitud de la ola que se avecina.
No es sólo una herramienta o plataforma, sino una metatecnología transformadora, la
tecnología detrás de la tecnología y todo lo demás, un creador de herramientas y
plataformas, no sólo un sistema, sino un generador de sistemas de todo tipo. Retroceda y
considere lo que está sucediendo a escala de una década o un siglo. Realmente estamos en
un punto de inflexión en la historia de la humanidad.
Y, sin embargo, la próxima ola implica mucho más que solo IA.
 CAPÍTULO 5

LA TECNOLOGÍA DE LA VIDA

La VIDA, LA TECNOLOGÍA MÁS ANTIGUA DEL UNIVERSO , tiene al menos 3.700 millones de años. A
lo largo de estos eones, la vida evolucionó en un proceso glacial, autónomo y no guiado.
Luego, apenas en las últimas décadas, una mínima porción del tiempo evolutivo, uno de los
productos de la vida, los humanos, lo cambió todo. Los misterios de la biología comenzaron
a desvelarse y la biología misma se convirtió en una herramienta de ingeniería. La historia
de la vida había sido reescrita en un instante; la mano serpenteante de la evolución de
repente se sobrealimentó y recibió una dirección. Los cambios que alguna vez se
desarrollaron a ciegas y en tiempo geológico ahora avanzan a un ritmo exponencial. Junto
con la IA, esta es la transformación más importante de nuestras vidas.
Los sistemas vivos se autoensamblan y se autocuran; son arquitecturas que aprovechan
la energía y que pueden replicarse, sobrevivir y florecer en una amplia gama de entornos,
todo ello con un nivel impresionante de sofisticación, precisión atómica y procesamiento de
información. Así como todo, desde la máquina de vapor hasta el microprocesador, fue
impulsado por un intenso diálogo entre la física y la ingeniería, las próximas décadas estarán
definidas por una convergencia de la biología y la ingeniería. Al igual que la IA, la biología
sintética está en una trayectoria pronunciada de caída de costos y aumento de capacidades.
En el centro de esta ola se encuentra la comprensión de que el ADN es información, un
sistema de codificación y almacenamiento biológicamente evolucionado. En las últimas
décadas hemos llegado a comprender lo suficiente sobre este sistema de transmisión de
información como para que ahora podamos intervenir para alterar su codificación y dirigir
su curso. Como resultado, los alimentos, las medicinas, los materiales, los procesos de
fabricación y los bienes de consumo se transformarán y reinventarán. También lo harán los
propios humanos.

TIJERAS PARA ADN:

LA REVOLUCIÓN CRISPR

La ingeniería genética suena moderna, pero en realidad es una de las tecnologías más
antiguas de la humanidad. Gran parte de la civilización habría sido imposible sin la cría
selectiva: el insistente proceso de refinar cultivos y animales para seleccionar rasgos más
deseables. De manera constante, a lo largo de siglos y milenios, los humanos se criaron para
obtener rasgos que serían más útiles, produciendo perros amigables, ganado lechero, pollos
domesticados, trigo, maíz, etc.
La bioingeniería moderna comenzó en la década de 1970, basándose en una
comprensión cada vez mayor de la herencia y la genética que había comenzado en el siglo
XIX. Ampliando el trabajo de Rosalind Franklin y Maurice Wilkins, James Watson y Francis
Crick descubrieron en la década de 1950 la estructura del ADN, la molécula que codifica las
instrucciones para producir un organismo. Luego, trabajando con bacterias en 1973, Stanley
N. Cohen y Herbert W. Boyer encontraron formas de trasplantar material genético de un
organismo a otro, mostrando cómo podían introducir con éxito ADN de una rana en una
bacteria. Había llegado la era de la ingeniería genética.
Esta investigación llevó a Boyer a fundar una de las primeras empresas de biotecnología
del mundo, Genentech, en 1976. Su misión era manipular los genes de microorganismos para
producir medicamentos y tratamientos, y en un año había desarrollado una prueba de
concepto, utilizando E. coli para producir la hormona somatostatina.
A pesar de algunos logros notables, el progreso inicial en este campo fue lento, porque
la ingeniería genética era un proceso costoso y difícil propenso al fracaso. Sin embargo, en
los últimos veinte años eso ha cambiado. La ingeniería genética se ha vuelto mucho más
barata y más sencilla. (¿Le suena familiar?) Un catalizador fue el Proyecto Genoma Humano.
Fue un esfuerzo multimillonario que duró trece años y que reunió a miles de científicos de
todo el mundo, en instituciones públicas y privadas, con un único objetivo: desbloquear los
tres mil millones de letras de información genética que componen el genoma humano. La
secuenciación del genoma como esta convierte la información biológica, el ADN, en texto sin
formato: información que los humanos pueden leer y utilizar. La estructura química
compleja se representa en una secuencia de sus cuatro bases definitorias: A, T, C y G.
Por primera vez, el Proyecto Genoma Humano pretendía hacer legible el mapa genético
completo de los seres humanos. Cuando se anunció en 1988, algunos pensaron que era
imposible y estaba condenado al fracaso. Pero el proyecto finalmente demostró que los
escépticos estaban equivocados. En 2003, se anunció en una ceremonia en la Casa Blanca
que se había secuenciado el 92 por ciento del genoma humano y que el código de la vida ya
estaba al descubierto. Fue un logro histórico y, aunque ha llevado tiempo empezar a alcanzar
su máximo potencial, en retrospectiva, está claro que el Proyecto Genoma Humano
realmente marcó el comienzo de una revolución.
Si bien la ley de Moore, con razón, atrae considerable atención, menos conocida es lo que
The Economist llama la curva de Carlson: el colapso épico de los costos de secuenciar el ADN.
Gracias a técnicas en constante mejora, el costo de la secuenciación del genoma humano cayó
de mil millones de dólares en 2003 a muy menos de mil dólares en 2022. Es decir, el precio
se redujo un millón de veces en menos de veinte años, mil veces más rápido que la ley de
Moore. Un desarrollo impresionante escondido a plena vista.
La secuenciación del genoma es ahora un negocio en auge. Con el tiempo, parece
probable que se secuencien los genomas de la mayoría de las personas, plantas, animales y
todo lo demás. Servicios como 23andMe ya ofrecen perfiles de ADN de personas por unos
cientos de dólares.
Pero el poder de la biotecnología va mucho más allá de nuestra capacidad de
simplemente leer el código; ahora nos permite editarlo y escribirlo también. La edición de
genes CRISPR (el acrónimo significa repeticiones palindrómicas cortas agrupadas y
regularmente espaciadas) es quizás el ejemplo más conocido de cómo podemos intervenir
directamente en la genética. Un avance en 2012 liderado por Jennifer Doudna y Emmanuelle
Charpentier significó que, por primera vez, los genes podrían editarse casi como texto o
código de computadora, mucho más fácilmente que en los primeros días de la ingeniería
genética.
CRISPR edita secuencias de ADN con la ayuda de Cas9, una enzima que actúa como un
par de tijeras de ADN finamente afinadas, cortando partes de una cadena de ADN para una
edición y modificación genética precisa de cualquier cosa, desde una bacteria diminuta hasta
mamíferos grandes como los seres humanos, con ediciones. desde pequeños cambios hasta
intervenciones significativas en el genoma. Los impactos pueden ser enormes: editar las
células de la línea germinal que forman óvulos y espermatozoides, por ejemplo, significa que
los cambios se harán eco de generación en generación.
Después de que se publicó el artículo inicial de CRISPR, el progreso en su aplicación fue
rápido; las primeras plantas genéticamente editadas se crearon al cabo de un año, y los
primeros animales (ratones) incluso antes. Los sistemas basados en CRISPR con nombres
como Carver y PAC-MAN prometen formas profilácticas efectivas de combatir los virus que,
a diferencia de las vacunas, no desencadenan una respuesta inmune, lo que ayuda a
protegernos contra las pandemias del futuro. Campos como la edición de ARN están abriendo
una gama de nuevos tratamientos para enfermedades como el colesterol alto y el cáncer.
Nuevas técnicas como Craspase, una herramienta CRISPR que trabaja con ARN y proteínas
en lugar de ADN, podrían permitir intervenciones terapéuticas más seguras que los métodos
convencionales.
Al igual que la IA, la ingeniería genética es un campo en vertiginoso movimiento, que
evoluciona y se desarrolla semana a semana, una enorme concentración global de talento y
energía que comienza a dar frutos reales (en este caso, literalmente). Los casos de uso de
CRISPR se están multiplicando, desde tomates ultraricos en vitamina D hasta tratamientos
para afecciones como la anemia falciforme y la beta-talasemia (un trastorno sanguíneo que
produce hemoglobina anormal). En el futuro podría ofrecer tratamientos para la COVID-19,
el VIH, la fibrosis quística e incluso el cáncer. Están en camino terapias genéticas seguras y
generalizadas. Esto creará cultivos que sean resistentes a la sequía y las enfermedades,
aumentarán los rendimientos y ayudarán a permitir la producción de biocombustibles a
escala.
Hace apenas unas décadas la biotecnología era costosa, compleja y lenta, y sólo los
equipos más talentosos y con más recursos podían participar. Hoy en día, tecnologías como
CRISPR son sencillas y económicas de utilizar; han, en palabras de la bióloga Nessa Carey,
“democratizado la ciencia biológica”. Experimentos que antes llevaban años ahora son
abordados por estudiantes de posgrado en semanas. Empresas como Odin le venderán un
kit de ingeniería genética que incluye ranas y grillos vivos por 1.999 dólares, mientras que
otro kit incluye una minicentrífuga, una máquina de reacción en cadena de la polimerasa y
todos los reactivos y materiales que necesita para empezar.
La ingeniería genética ha adoptado el espíritu de "hágalo usted mismo" que alguna vez
definió a las empresas digitales emergentes y condujo a tal explosión de creatividad y
potencial en los primeros días de Internet. Ahora puedes comprar un sintetizador de ADN de
mesa (consulte la siguiente sección) por tan solo $ 25 000 y úselo como desee, sin
restricciones ni supervisión, en su biogaraje en casa.
 IMPRESORAS DE ADN:
LA BIOLOGÍA SINTÉTICA COBRA VIDA

CRISPR es sólo el comienzo. La síntesis de genes es la fabricación de secuencias genéticas,

imprimiendo hebras de ADN. Si secuenciar es leer, sintetizar es escribir. Y escribir no implica
sólo reproducir hebras conocidas de ADN; también permite a los científicos escribir nuevos
hilos, diseñar la vida misma. Si bien la práctica existía hace años, nuevamente era lenta,
costosa y difícil. Hace una década, los científicos podrían haber producido menos de cien
fragmentos de ADN simultáneamente. Ahora pueden imprimir millones a la vez, combinado
con una caída de precio diez veces mayor. La London DNA Foundry, ubicada en el Imperial
College de Londres, afirma que puede crear y probar quince mil diseños genéticos diferentes
en una sola mañana.
Empresas como DNA Script están comercializando impresoras de ADN que entrenan y
adaptan enzimas para construir moléculas de novo o completamente nuevas. Esta capacidad
ha dado origen al nuevo campo de la biología sintética: la capacidad de leer, editar y ahora
escribir el código de la vida. Además, las nuevas técnicas, como la síntesis enzimática, son
más rápidas e incluso más eficientes y, al mismo tiempo, menos propensas a fallar, sin
residuos peligrosos y, por supuesto, con una pronunciada curva de costos decrecientes. El
método también es mucho más fácil de aprender, a diferencia de los métodos más antiguos
y altamente complejos que requieren conocimientos y habilidades técnicas más
especializados.
Se ha abierto un mundo de posibilidades para la creación de ADN, un mundo en el que
los ciclos de diseño, construcción, prueba e iteración ocurren a un ritmo radicalmente
acelerado. Las versiones caseras de sintetizadores de ADN tienen actualmente algunas
limitaciones técnicas, pero siguen siendo enormemente potentes, y puedes apostar que esas
limitaciones se superarán en un futuro próximo.
Mientras que la naturaleza toma un camino largo y sinuoso para alcanzar resultados
extraordinariamente efectivos, esta biorrevolución coloca el poder del diseño concentrado
en el centro de estos procesos de autorreplicación, autocuración y evolución.
Ésta es la promesa de una evolución por diseño, decenas de millones de años de historia
comprimidos y cortocircuitados por una intervención dirigida. Reúne biotecnología, biología
molecular y genética con el poder de las herramientas de diseño computacional. Si lo
ponemos todo junto, tendremos una plataforma de alcance profundamente transformador.
En palabras del bioingeniero de Stanford, Drew Endy, “la biología es la plataforma de
fabricación distribuida definitiva”. La verdadera promesa de la biología sintética, entonces,
es que “permitirá a las personas producir de manera más directa y libre lo que necesiten
dondequiera que estén”.
En la década de 1960, los chips de computadora todavía se construían en gran medida a
mano, del mismo modo que, hasta hace poco, la mayor parte de la investigación
biotecnológica seguía siendo un proceso manual, lento, impredecible y confuso en todos los
sentidos. Actualmente, la fabricación de semiconductores es un proceso de fabricación
hipereficiente a escala atómica que produce algunos de los productos más complejos del
mundo. La biotecnología está siguiendo una trayectoria similar, sólo que en una fase mucho
más temprana; Pronto se diseñarán y producirán organismos con la precisión y escala de los
chips y software de computadora actuales.
En 2010, un equipo dirigido por Craig Venter tomó una copia cercana del genoma de la
bacteria Mycoplasma mycoides y la trasplantó a una nueva célula que luego se replicó. Se
trataba, argumentaron, de una nueva forma de vida, Synthia. En 2016 crearon un organismo
con 473 genes, menos que cualquier cosa que se encuentre en la naturaleza, pero un avance
decisivo con respecto a lo que antes era posible. Apenas tres años después, un equipo de la
ETH Zurich creó el primer genoma bacteriano producido íntegramente en una computadora:
Caulobacter ethensis-2.0. Si bien los experimentos de Venter contaron con un gran equipo y
costaron millones de dólares, este trabajo pionero fue completado en gran medida por dos
hermanos por menos de 100.000 dólares. Ahora el Consorcio global GP-write se dedica a
reducir el costo de producir y probar genomas sintéticos “1.000 veces en diez años”.
Biología, conoce mejoras exponenciales.

CREATIVIDAD BIOLÓGICA DESATADA

Se están llevando a cabo innumerables experimentos en el extraño y emergente panorama

de la biología sintética: virus que producen baterías, proteínas que purifican el agua sucia,
órganos cultivados en cubas, algas que absorben carbono de la atmósfera, plantas que
consumen desechos tóxicos. Algunas especies transmisoras de enfermedades, como los
mosquitos, o especies invasoras, como los ratones domésticos comunes, podrían ser
eliminadas de sus hábitats mediante los llamados impulsores genéticos; otros volvieron a la
vida, incluido un proyecto esotérico para reintroducir mamuts lanudos en la tundra. Nadie
puede decir completamente cuáles podrían ser las consecuencias.
Los avances médicos son un área obvia de atención. Utilizando un gen para detectar
proteínas extraídas de algas para reconstruir las células nerviosas, los científicos
restauraron con éxito la visión limitada a un hombre ciego en 2021. Enfermedades que antes
eran intratables, desde la anemia falciforme hasta la leucemia, ahora son potencialmente
tratables. Las terapias con células T con CAR diseñan glóbulos blancos de respuesta inmune
personalizados para atacar los cánceres; La edición genética parece destinada a curar las
enfermedades cardíacas hereditarias.
Gracias a tratamientos que salvan vidas, como las vacunas, ya estamos acostumbrados a
la idea de intervenir en nuestra biología para ayudarnos a combatir las enfermedades. El
campo de la biología de sistemas tiene como objetivo comprender el "panorama más amplio"
de una célula, tejido u organismo mediante el uso de la bioinformática y la biología
computacional para ver cómo funciona el organismo de manera integral; Tales esfuerzos
podrían ser la base de una nueva era de medicina personalizada. Dentro de poco, la idea de
ser tratado de manera genérica parecerá positivamente medieval; Todo, desde el tipo de
atención que recibimos hasta los medicamentos que nos ofrecen, se adaptará con precisión
a nuestro ADN y biomarcadores específicos. Con el tiempo, podría ser posible
reconfigurarnos para mejorar nuestras respuestas inmunes. Eso, a su vez, podría abrir la
puerta a experimentaciones aún más ambiciosas, como la longevidad y las tecnologías
regenerativas, que ya son un área de investigación floreciente.
 Altos Labs, que ha recaudado 3.000 millones de dólares, más financiación inicial que
cualquier proyecto biotecnológico anterior, es una empresa que busca encontrar tecnologías
antienvejecimiento eficaces. Su científico jefe, Richard Klausner, sostiene: "Creemos que
podemos hacer retroceder el tiempo" en materia de mortalidad humana. Centrándose en
técnicas de “programación de rejuvenecimiento”, la empresa pretende restablecer el
epigenoma, marcas químicas en el ADN que controlan los genes al “encenderlos” y
“apagarlos”. A medida que envejecemos, estos “voltean” a posiciones equivocadas. Este
enfoque experimental tiene como objetivo invertirlos, revertir o detener el proceso de
envejecimiento. Junto con una serie de otras intervenciones prometedoras, la inevitabilidad
del envejecimiento físico (lo que parece una parte fundamental de la vida humana—se pone
en duda. En las próximas décadas se podrá lograr un mundo en el que la esperanza de vida
sea de cien años o más. Tampoco se trata sólo de una vida más larga; se trata de una vida más
saludable a medida que envejecemos.
El éxito tendría importantes repercusiones sociales. Al mismo tiempo, las mejoras
cognitivas, estéticas, físicas y relacionadas con el rendimiento también son plausibles y
serían tan disruptivas y vilipendiadas como se desee. De cualquier manera, se producirán
graves modificaciones físicas. El trabajo inicial sugiere que se puede mejorar la memoria y
aumentar la fuerza muscular. No pasará mucho tiempo antes de que el “dopaje genético” se
convierta en un tema candente en los deportes, la educación y la vida profesional. Las leyes
que rigen los ensayos y experimentos clínicos llegan a una zona gris en lo que respecta a la
autoadministración. Experimentar con otros está claramente prohibido, pero ¿experimentar
contigo mismo? Como ocurre con muchos otros elementos de las tecnologías de vanguardia,
es un espacio jurídica y moralmente mal definido.
Los primeros niños con genomas editados ya nacieron en China después de que un
profesor deshonesto se embarcara en una serie de experimentos en vivo con parejas jóvenes,
que finalmente llevaron, en 2018, al nacimiento de gemelas, conocidas como Lulu y Nana,
con genomas editados. Su trabajo conmocionó a la comunidad científica, violando todas las
normas éticas. No existía ninguna de las salvaguardias o mecanismos de rendición de cuentas
habituales; la edición se consideró médicamente innecesaria y, peor aún, mal ejecutada. La
indignación que sintieron los científicos fue real y la condena casi universal. Los llamados a
una moratoria fueron rápidos e incluyeron a muchos de los pioneros clave en el campo, pero
aún así, no todos estuvieron de acuerdo en que este fuera el enfoque correcto. Antes de que
nazcan más bebés CRISPR, el mundo probablemente tendrá que lidiar con una selección
iterada de embriones que también podría seleccionar los rasgos deseados.
Aparte de los preocupantes titulares sobre biotecnología, surgirán cada vez más
aplicaciones, una amplia gama más allá de la medicina o la alteración personal, limitada
únicamente por la imaginación. Los procesos de fabricación, la agricultura, los materiales, la
generación de energía e incluso las computadoras se transformarán fundamentalmente en
las próximas décadas. Si bien persisten numerosos desafíos, los materiales fundamentales
para la economía, como los plásticos, el cemento y los fertilizantes, podrían producirse de
manera mucho más sostenible, y los biocombustibles y los bioplásticos reemplazarían a los
existentes emisores de carbono. Los cultivos podrían volverse resistentes a las infecciones,
utilizando menos agua, tierra y fertilizantes; casas esculpidas y cultivadas a partir de hongos.
Científicos como la premio Nobel Frances Arnold crean enzimas que producen
reacciones químicas novedosas, incluidas formas de unir silicio y carbono, generalmente un
proceso complicado y que consume mucha energía con una amplia gama de usos en áreas
como la electrónica. El método de Arnold es quince veces más eficiente energéticamente que
las alternativas industriales estándar. El siguiente paso implica aumentar la producción de
materiales y procesos biológicos. De esta manera, se podrían cultivar y fabricar productos
importantes, como sustitutos de la carne o nuevos materiales que absorban carbono de la
atmósfera. La vasta industria petroquímica podría enfrentar el desafío de nuevas empresas
jóvenes como Solugen, cuyo Bioforge es un intento de construir una fábrica con emisiones
de carbono negativas; produciría una amplia gama de productos químicos y productos
básicos, desde productos de limpieza hasta aditivos alimentarios y hormigón, y al mismo
tiempo extraería carbono de la atmósfera. Su proceso es esencialmente biofabricación a
escala industrial, con bajo consumo de energía y residuos, basado en inteligencia artificial y
biotecnología.
Otra empresa, LanzaTech, aprovecha bacterias genéticamente modificadas para
convertir el CO2 residual de la producción de acerías en productos químicos industriales de
uso generalizado. Este tipo de biología sintética está ayudando a construir una economía
“circular” más sostenible. Las impresoras de ADN de próxima generación producirán ADN
con un grado cada vez mayor de precisión. Si se pueden realizar mejoras no sólo en la
expresión de ese ADN, sino también en su uso para diseñar genéticamente una amplia gama
de nuevos organismos, automatizando y ampliando los procesos, un dispositivo o conjunto
de dispositivos podría, en teoría, producir una enorme variedad de materiales y
construcciones biológicas. utilizando sólo unos pocos insumos básicos. ¿Quieres hacer
detergente para lavar ropa, un juguete nuevo o incluso hacer crecer una casa? Simplemente
descargue la "receta" y presione "ir". En palabras de Elliot Hershberg, “ ¿Qué pasaría si
pudiéramos cultivar lo que quisiéramos localmente? ¿Qué pasaría si nuestra cadena de
suministro fuera solo biología?
Con el tiempo, es posible que las computadoras también crezcan y se fabriquen.
Recuerde que el ADN es en sí mismo el mecanismo de almacenamiento de datos más eficiente
que conocemos: capaz de almacenar datos a millones de veces la densidad de las técnicas
computacionales actuales con una fidelidad y estabilidad casi perfectas. En teoría, todos los
datos del mundo podrían almacenarse en sólo un kilogramo de ADN. Una versión biológica
de un transistor llamado transcriptor utiliza moléculas de ADN y ARN para actuar como
puertas lógicas. Todavía queda un largo camino por recorrer antes de que se pueda
aprovechar esta tecnología. Pero todas las partes funcionales de una computadora
(almacenamiento de datos, transmisión de información y un sistema lógico básico) pueden,
en principio, replicarse utilizando materiales biológicos.
Los organismos genéticamente modificados ya representan el 2 por ciento de la
economía estadounidense a través de usos agrícolas y farmacéuticos. Esto es sólo el
comienzo. McKinsey estima que hasta el 60 por ciento de los insumos físicos de la economía
podrían, en última instancia, estar sujetos a “bioinnovación”. El cuarenta y cinco por ciento
de la carga mundial de morbilidad podría abordarse con “ciencia que hoy es concebible”. A
medida que el conjunto de herramientas se vuelve más barato y más avanzado, un universo
de posibilidades queda sujeto a exploración.
 IA EN LA ERA DE
LA VIDA SINTÉTICA

Las proteínas son los componentes básicos de la vida. Tus músculos y sangre, hormonas y
cabello, de hecho, el 75 por ciento de tu peso corporal seco: todas proteínas. Están en todas
partes, adoptando todas las formas imaginables y realizando innumerables tareas vitales,
desde los cordones que mantienen unidos los huesos hasta los ganchos de los anticuerpos
utilizados para atrapar visitantes no deseados. Si comprende las proteínas, habrá dado un
gran paso adelante en la comprensión y el dominio de la biología.
Pero hay un problema. Simplemente conocer la secuencia del ADN no es suficiente para
saber cómo funciona una proteína. En cambio, es necesario comprender cómo se pliega. Su
forma, formada por este pliegue anudado, es fundamental para su función: el colágeno de
nuestros tendones tiene una estructura similar a una cuerda, mientras que las enzimas
tienen bolsas para contener las moléculas sobre las que actúan. Y, sin embargo, no había
manera de saber de antemano cómo sucedería esto. Si se utilizara el cálculo tradicional de
fuerza bruta, que implica probar sistemáticamente todas las posibilidades, podría llevar más
tiempo que la edad del universo conocido analizar todas las formas posibles de una proteína
determinada. Por lo tanto, descubrir cómo se pliega una proteína fue un proceso arduo,
frenando el desarrollo de todo, desde medicamentos hasta enzimas que comen plástico.
Durante décadas, los científicos se habían preguntado si había una manera mejor. En
1993, decidieron organizar un concurso bianual, llamado Evaluación Crítica para la
Predicción de Estructuras (CASP), para ver quién podía resolver el problema del
plegamiento de proteínas. Quien hiciera las mejores predicciones sobre cómo podría
plegarse una proteína, ganaría. CASP pronto se convirtió en el punto de referencia en un
campo ferozmente competitivo pero muy unido. El progreso fue constante, pero sin un final
a la vista.
Luego, en el CASP13 de 2018, celebrado en un resort rodeado de palmeras en Cancún,
un participante externo llegó a la competencia, sin ningún historial, y venció a noventa y ocho
equipos establecidos. El equipo ganador fue el de DeepMind. El proyecto, llamado AlphaFold,
comenzó durante un hackathon experimental de una semana de duración en mi grupo de la
empresa en 2016. Creció hasta convertirse en un momento histórico en la biología
computacional y proporciona un ejemplo perfecto de cómo tanto la IA como la biotecnología
están avanzando a gran velocidad.
Mientras que el equipo que quedó en segundo lugar, el prestigioso grupo Zhang, sólo
pudo predecir tres estructuras proteicas de cuarenta y tres de los objetivos más difíciles,
nuestro proyecto ganador predijo veinticinco. Lo hizo mucho más rápido que sus rivales, en
sólo cuestión de horas. De alguna manera, en esta competencia establecida, poblada por
profesionales ultrainteligentes, nuestro comodín había triunfado y había sorprendido a
todos. Mohammed AlQuraishi, un conocido investigador en el campo, se quedó preguntando:
"¿Qué acaba de pasar?".
Nuestro equipo utilizó redes neuronales generativas profundas para predecir cómo
podrían plegarse las proteínas en función de su ADN, entrenándose en un conjunto de
proteínas conocidas y extrapolando a partir de ahí. Los nuevos modelos pudieron adivinar
mejor la distancia y los ángulos de los pares de aminoácidos. No fue la experiencia en
farmacia, ni en las técnicas tradicionales como la criomicroscopía electrónica, ni siquiera en
los métodos algorítmicos convencionales, lo que resolvió el problema. La clave era la
experiencia y la capacidad en aprendizaje automático, en IA. La IA y la biología se habían
unido decisivamente.
Dos años después nuestro equipo estaba de regreso. Un titular lo decía todo: "Uno de los
mayores problemas de la biología finalmente ha sido resuelto", escribió Sci . Entífico
americano. Un universo de proteínas previamente oculto fue revelado a una velocidad
asombrosa. AlphaFold era tan bueno que CASP, al igual que ImageNet, se retiró. Durante
medio siglo el plegamiento de proteínas había sido uno de los grandes desafíos de la ciencia
y luego, de repente, fue tachado de la lista.
En 2022, AlphaFold2 se abrió al uso público. El resultado ha sido una explosión de las
herramientas de aprendizaje automático más avanzadas del mundo, utilizadas tanto en la
investigación biológica fundamental como en la aplicada: un “terremoto”, en palabras de un
investigador. Más de un millón de investigadores accedieron a la herramienta dentro de los
dieciocho meses posteriores a su lanzamiento, incluidos prácticamente todos los
laboratorios de biología más importantes del mundo, y abordaron cuestiones que van desde
la resistencia a los antibióticos hasta el tratamiento de enfermedades raras y los orígenes de
la vida misma. Experimentos anteriores habían aportado la estructura de unas 190.000
proteínas a la base de datos del Instituto Europeo de Bioinformática, aproximadamente el
0,1 por ciento de las proteínas conocidas que existen. DeepMind cargó unos 200 millones de
estructuras de una vez, que representan casi todas las proteínas conocidas. Mientras que
antes los investigadores podían tardar semanas o meses en determinar la forma y función
de una proteína, ahora ese proceso puede comenzar en cuestión de segundos. Esto es lo que
queremos decir con cambio exponencial. Esto es lo que la próxima ola hará posible.
Y, sin embargo, esto es sólo el comienzo de una convergencia de estas dos tecnologías.
La biorrevolución está coevolucionando con los avances de la IA y, de hecho, muchos de los
fenómenos analizados en este capítulo dependerán de la IA para su realización. Pensemos,
entonces, en dos olas chocando entre sí, no una ola sino una superonda. De hecho, desde un
punto de vista, la inteligencia artificial y la biología sintética son casi intercambiables. Toda
la inteligencia hasta la fecha ha surgido de la vida. Llámelos inteligencia sintética y vida
artificial y seguirán significando lo mismo. Ambos campos tratan de recrear y diseñar estos
conceptos absolutamente fundamentales e interrelacionados, dos atributos centrales de la
humanidad; cambia la vista y se convierten en un solo proyecto.
La enorme complejidad de la biología abre enormes cantidades de datos, como todas
esas proteínas, casi imposibles de analizar utilizando técnicas tradicionales. Como resultado,
una nueva generación de herramientas se ha vuelto rápidamente indispensable. Los equipos
están trabajando en productos que generarán nuevas secuencias de ADN utilizando
únicamente instrucciones en lenguaje natural. Los modelos de transformadores están
aprendiendo el lenguaje de la biología y la química, descubriendo nuevamente relaciones y
significado en secuencias largas y complejas ilegibles para la mente humana. Los LLM
ajustados a partir de datos bioquímicos pueden generar candidatos plausibles para nuevas
moléculas y proteínas, secuencias de ADN y ARN. Predicen la estructura, función o
propiedades de reacción de compuestos en simulación antes de verificarlas posteriormente
en un laboratorio. El espacio de aplicaciones y la velocidad a la que pueden explorarse no
hacen más que acelerarse.
 Algunos científicos están empezando a investigar formas de conectar la mente humana
directamente a los sistemas informáticos. En 2019, unos electrodos implantados
quirúrgicamente en el cerebro permitieron a un hombre completamente paralizado con ELA
en etapa avanzada deletrear las palabras "Amo a mi hijo genial". Empresas como Neuralink
están trabajando en una tecnología de interfaz cerebral que promete conectarnos
directamente con las máquinas. En 2021, la empresa insertó en el cerebro de un cerdo tres
mil electrodos similares a filamentos, más delgados que un cabello humano, que monitorean
la actividad neuronal. Esperan comenzar pronto las pruebas en humanos de su implante
cerebral N1, mientras que otra empresa, Synchron, ya ha iniciado pruebas en humanos en
Australia. Los científicos de una nueva empresa llamada Cortical Labs incluso han cultivado
una especie de cerebro en una tina (un conjunto de neuronas cultivadas in vitro) y le han
enseñado a jugar Pong. Probablemente no pasará mucho tiempo antes de que los “cordones”
neuronales hechos de nanotubos de carbono nos conecten directamente al mundo digital.
¿Qué sucede cuando una mente humana tiene acceso instantáneo a la computación y la
información a la escala de Internet y la nube? Es casi imposible de imaginar, pero los
investigadores ya están en los primeros días para hacerlo realidad. Como tecnologías
centrales de propósito general de la próxima ola, la IA y la biología sintética ya están
entrelazadas, en un ciclo de retroalimentación en espiral que se impulsa mutuamente. Si bien
la pandemia dio un enorme impulso a la concienciación sobre la biotecnología, el impacto
total (posibilidades y riesgos por igual) de la biología sintética apenas ha comenzado a
hundirse en la imaginación popular.
Bienvenidos a la era de las biomáquinas y las biocomputadoras, donde las hebras de
ADN realizan cálculos y las células artificiales se ponen a trabajar. Donde las máquinas
cobran vida. Bienvenidos a la era de la vida sintética.
 CAPÍTULO 6

LA OLA MÁS AMPLIA

L as ONDAS TECNOLÓGICAS SON MÁS GRANDES QUE sólo una o dos tecnologías de propósito
general. Son grupos de tecnologías que llegan aproximadamente al mismo tiempo, ancladas
en una o más tecnologías de propósito general pero que se extienden mucho más allá de ellas.
Las tecnologías de propósito general son aceleradores. La invención genera invención.
Las olas sientan las bases para una mayor experimentación científica y tecnológica, abriendo
las puertas de las posibilidades. Esto, a su vez, produce nuevas herramientas y técnicas,
nuevas áreas de investigación, nuevos dominios de la tecnología misma. Las empresas se
forman dentro y alrededor de ellos, atrayendo inversiones, impulsando las nuevas
tecnologías hacia nichos grandes y pequeños por igual, adaptándolas aún más para mil
propósitos diferentes. Las olas son tan enormes e históricas precisamente por esta
complejidad proteica, esta tendencia a multiplicarse y desbordarse.
Las tecnologías no se desarrollan ni operan en esclusas de aire, separadas unas de otras,
y mucho menos en tecnologías de propósito general. Más bien, se desarrollan en bucles
amplificatorios ondulantes. Donde se encuentra una tecnología de propósito general,
también se encuentran otras tecnologías que se desarrollan en constante diálogo,
impulsadas por ella. Entonces, si analizamos las ondas, claramente no se trata sólo de una
máquina de vapor, o una computadora personal, o la biología sintética, por muy importantes
que sean; también se trata del vasto nexo de otras tecnologías y aplicaciones que las
acompañan. Son todos los productos fabricados en fábricas impulsadas por vapor, las
personas transportadas en trenes impulsados por vapor, las empresas de software y, más
abajo, todo lo demás que depende de la informática.
La bio y la IA están en el centro, pero a su alrededor hay una penumbra de otras
tecnologías transformadoras. Cada uno tiene un inmenso significado por derecho propio,
pero eso se intensifica cuando se ve a través de la lente del potencial de polinización cruzada
de la ola mayor. Dentro de veinte años habrá numerosas tecnologías adicionales, todas
irrumpiendo al mismo tiempo. En este capítulo examinamos algunos ejemplos clave que
componen esta ola más amplia.
Comenzamos con la robótica, o como me gusta pensarla, la manifestación física de la IA,
el cuerpo de la IA. Su impacto ya se está sintiendo en algunas de las industrias más
vanguardistas del planeta. Pero también los mayores. Baja a la granja automatizada.

LA ROBÓTICA LLEGA A LA MAYORÍA DE EDAD

En 1837, John Deere era un herrero que trabajaba en Grand Detour, Illinois. Esta era una
zona de praderas, con su denso suelo negro y sus amplios espacios abiertos. Tenía potencial
como una de las mejores tierras cultivables del mundo: excelente para cultivos pero
increíblemente difícil de arar.
Entonces, un día, Deere vio una sierra de acero rota en un molino. Como el acero
escaseaba, se llevó su hallazgo a casa y transformó la hoja en un arado. Fuerte y liso, el acero
era el material perfecto para arar el suelo denso y pegajoso. Aunque otros habían visto el
acero como una alternativa a los arados de hierro más toscos, el gran avance de Deere fue
aumentar la producción en masa. Al poco tiempo, granjeros de todo el Medio Oeste acudieron
en masa a su taller. Su invento abrió la pradera a una avalancha de colonos. El Medio Oeste
se convirtió debidamente en el granero del mundo; John Deere rápidamente se convirtió en
sinónimo de agricultura; y se instigó una revolución tecnogeográfica.
La empresa John Deere todavía fabrica tecnología agrícola en la actualidad. Quizás esté
pensando en tractores, aspersores y cosechadoras, y es cierto que John Deere fabrica todas
estas cosas. Sin embargo, la empresa fabrica cada vez más robots. El futuro de la agricultura,
tal como lo ve John Deere, implica tractores y cosechadoras autónomas que operan de forma
independiente, siguiendo las coordenadas GPS de un campo y utilizando una serie de
sensores para realizar modificaciones automáticas y en tiempo real en la cosecha,
maximizando el rendimiento y minimizando el desperdicio. La empresa está produciendo
robots que pueden plantar, cuidar y cosechar cultivos, con niveles de precisión y
granularidad. eso sería imposible para los humanos. Todo, desde la calidad del suelo hasta
las condiciones climáticas, se tiene en cuenta en un conjunto de máquinas que pronto harán
gran parte del trabajo. En una época de inflación de los precios de los alimentos y una
población en crecimiento, el valor es claro.
Los robots agrícolas no están por llegar. Ellos estan aqui. Desde drones que vigilan el
ganado hasta plataformas de riego de precisión y pequeños robots móviles que patrullan
vastas granjas interiores, desde la siembra hasta la cosecha, la recolección y el paletizado, el
riego de tomates y el seguimiento y pastoreo del ganado, la realidad de los alimentos que
comemos hoy en día es que provienen cada vez más de un mundo. de robots, impulsados por
IA, que actualmente se están implementando y ampliando.
La mayoría de estos robots no se parecen a los androides de la ciencia ficción popular.
Parecen, bueno, máquinas agrícolas. Y, en cualquier caso, muchos de nosotros no pasamos
mucho tiempo en las granjas. Pero así como el arado de John Deere alguna vez transformó el
negocio de la agricultura, estos nuevos inventos centrados en robots están transformando la
forma en que los alimentos llegan a nuestras mesas. No es una revolución que estemos
preparados para reconocer, pero ya está en marcha.

LOS ROBOTS HAN AVANZADO PRINCIPALMENTE como herramientas unidimensionales, máquinas

capaces de realizar tareas individuales en una línea de producción con velocidad y precisión,
un importante impulso de productividad para los fabricantes, pero muy lejos de las visiones
al estilo de los Supersónicos de los años 60 de tímidos ayudantes androides.
Al igual que con la IA, la robótica resultó mucho más difícil en la práctica de lo que
suponían los primeros ingenieros. El mundo real es un entorno extraño, desigual, inesperado
y desestructurado, exquisitamente sensible a cosas como la presión: coger un huevo, una
manzana, un ladrillo, un niño y un plato de sopa requiere una destreza, una sensibilidad y
una fuerza extraordinarias. y equilibrio. Un entorno como una cocina o un taller es
desordenado, lleno de elementos peligrosos, manchas de aceite y múltiples herramientas y
materiales diferentes. Es la pesadilla de un robot.
Sin embargo, en su mayor parte fuera de la vista del público, los robots han estado
aprendiendo silenciosamente sobre el torque, la resistencia a la tracción, la física de la
manipulación, la precisión, la presión y la adaptación. Basta con verlos en una planta de
fabricación de automóviles en YouTube: se ve un ballet nítido e interminable de brazos
robóticos y manipuladores que construyen constantemente un automóvil. El “primer robot
móvil totalmente autónomo” de Amazon, llamado Proteus, puede recorrer los almacenes en
grandes flotas, recogiendo paquetes. Equipado con “tecnología avanzada de seguridad,
percepción y navegación”, puede hacerlo cómodamente junto con los humanos. Sparrow de
Amazon es el primero que puede "detectar, seleccionar y manejar productos individuales en
[su] inventario".
No es difícil imaginar estos robots en almacenes y fábricas, entornos relativamente
estáticos. Pero pronto se encontrarán cada vez más en restaurantes, bares, residencias de
ancianos y escuelas. Los robots ya están realizando cirugías complejas, en conjunto con
humanos pero también de forma autónoma, en cerdos (por ahora). Estos usos son sólo el
comienzo de un despliegue de la robótica mucho más generalizado.
Hoy en día, los programadores humanos todavía controlan cada detalle del
funcionamiento de un robot. Eso hace que el costo de la integración en un nuevo entorno sea
prohibitivo. Pero como hemos visto en tantas otras aplicaciones del aprendizaje automático,
lo que comienza con una estrecha supervisión humana termina con la IA aprendiendo a hacer
mejor la tarea por sí misma, generalizándose eventualmente a nuevas configuraciones.
La división de investigación de Google está construyendo robots que podrían, como el
sueño de la década de 1950, realizar tareas domésticas y trabajos básicos, desde apilar platos
hasta ordenar sillas en salas de reuniones. Construyeron una flota de cien robots capaces de
clasificar basura y limpiar mesas. El aprendizaje por refuerzo ayuda a la pinza de cada robot
a levantar vasos y abrir puertas: justo el tipo de acciones, sin esfuerzo para un niño pequeño,
que han molestado a los robóticos durante décadas. Esta nueva generación de robots puede
trabajar en actividades generales, respondiendo a comandos de voz en lenguaje natural.
Otra área en crecimiento es la capacidad de los robots para agruparse, amplificando en
gran medida las capacidades potenciales de cualquier robot individual en una mente
colmena. Los ejemplos incluyen los Kilobots en miniatura del Instituto Harvard Wyss: un
enjambre de mil robots que trabajan colectivamente y se ensamblan en formas tomadas de
la naturaleza que podrían usarse en tareas difíciles y distribuidas como detener la erosión
del suelo y otras mediaciones ambientales, agricultura, operaciones de búsqueda y rescate,
o todo el campo de la construcción y la inspección. Imagine un enjambre de robots
constructores construyendo un puente en minutos o un gran edificio en horas, o atendiendo
granjas enormes y altamente productivas las 24 horas del día, los 7 días de la semana, o
limpiando un derrame de petróleo. Con las poblaciones de abejas amenazadas, Walmart
presentó una patente para que las abejas robot colaboren y realicen polinización cruzada de
cultivos de forma autónoma. Toda la promesa (y el peligro) de la robótica se ve amplificada
por su capacidad de coordinarse en grupos de tamaño ilimitado, una intrincada coreografía
que restablecerá las reglas de lo que es posible, dónde y en qué plazo.
 Los robots de hoy en día todavía no se parecen a los robots humanoides de la
imaginación popular. Consideremos el fenómeno de la impresión 3D o la fabricación aditiva,
una técnica que utiliza ensambladores robóticos para superponer la construcción de
cualquier cosa, desde minúsculas piezas de máquinas hasta bloques de apartamentos. Los
robots gigantes pulverizadores de hormigón pueden construir viviendas en cuestión de días
por una fracción de lo que habría costado la construcción tradicional.
Los robots pueden operar con precisión en una gama mucho mayor de entornos durante
períodos mucho más largos que los humanos. Su vigilancia y diligencia son ilimitadas. Si
están conectados en red, las hazañas que podrían lograr simplemente reescriben las reglas
para tomar acciones. Creo que estamos llegando al punto en el que la IA está empujando a
los robots hacia su promesa original: máquinas que pueden replicar todas las acciones físicas
de un humano y más. A medida que los costos bajen (el precio de un brazo robótico bajó un
46 por ciento en cinco años y sigue bajando), a medida que eventualmente estén equipados
con baterías potentes, a medida que se simplifiquen y se vuelvan fáciles de reparar, se
volverán omnipresentes. Y eso significará presentarse en situaciones inusuales, extremas y
delicadas. Los signos de un cambio ya son visibles, si se sabe dónde buscar.

FUE LA peor pesadilla de la policía. Un francotirador entrenado militarmente se había

colocado en una posición segura en el segundo piso de un colegio comunitario local en Dallas,
Texas. Luego, pasando por alto una protesta pacífica, comenzó a disparar contra agentes de
policía. Al cabo de cuarenta y cinco minutos, dos personas murieron y más resultaron
heridas. Más tarde se supo que cinco agentes habían muerto y siete habían resultado heridos,
el incidente más mortífero para las fuerzas del orden estadounidenses desde el 11 de
septiembre. El pistolero se burló de la policía, rió, cantó y disparó con una precisión
escalofriante. Las tensas negociaciones, que duraron más de dos horas, no llevaron a ninguna
parte. La policía quedó atrapada. No estaba claro cuántos más morirían intentando resolver
la situación.
Entonces al equipo SWAT se le ocurrió una nueva idea. El departamento de policía tenía
un robot desactivador de bombas, el Remotec Andros Mark 5A-1 de 150.000 dólares
fabricado por Northrop Grumman. En quince minutos tramaron un planea colocar una gran
gota de explosivo C-4 en su brazo y enviarlo al edificio con la intención de incapacitar al
tirador. El jefe de policía, David Brown, rápidamente aprobó el plan. Entró en acción y el
robot retumbó por el edificio, donde colocó el explosivo en una habitación adyacente, junto
a una pared con el tirador al otro lado. El explosivo detonó, destrozó el muro y mató al
pistolero. Era la primera vez que un robot utilizaba fuerza letal dirigida en los Estados
Unidos. En Dallas, salvó el día. Un acontecimiento horrible llegó a su fin.
Aún así, algunos estaban inquietos. No es necesario enfatizar el preocupante potencial
de los robots policiales letales. Volveremos a las implicaciones de todo esto en la parte 3.
Pero, sobre todo, significó cómo los robots se están abriendo paso gradualmente en la
sociedad, preparados para desempeñar un papel mucho más importante en la vida diaria
que antes. Desde una crisis mortal hasta el silencioso zumbido de un centro logístico, desde
una bulliciosa fábrica hasta una residencia de ancianos, los robots están aquí.
 Las IA son productos de bits y códigos que existen en simulaciones y servidores. Los
robots son su puente, su interfaz con el mundo real. Si la IA representa la automatización de
la información, la robótica es la automatización del material, las instancias físicas de la IA, un
cambio radical en lo que es posible hacer . El dominio de los bits cierra el círculo,
reconfigurando directamente los átomos, reescribiendo los límites no sólo de lo que se puede
pensar, decir o calcular, sino de lo que se puede construir en el sentido físico más tangible. Y,
sin embargo, lo notable de la ola que se avecina es que este tipo de manipulación atómica
contundente no es nada comparado con lo que se avecina en el horizonte.

SUPREMACÍA CUÁNTICA

En 2019, Google anunció que había alcanzado la “supremacía cuántica”. Los investigadores
habían construido una computadora cuántica, que utiliza las propiedades peculiares del
mundo subatómico. Enfriada a una temperatura más fría que las partes más frías del espacio
exterior, la máquina de Google utilizó conocimientos de mecánica cuántica para completar
un cálculo en segundos que, según dijo, le habría tomado a una computadora convencional
diez mil años. Tenía sólo cincuenta y tres "qubits", o bits cuánticos, las unidades centrales de
computación cuántica. Para almacenar información equivalente en una computadora clásica,
se necesitarían setenta y dos mil millones de gigabytes de memoria. Este fue un momento
clave para las computadoras cuánticas. Desde sus fundamentos teóricos que datan de la
década de 1980, la computación cuántica ha pasado de ser un prototipo hipotético a un
prototipo funcional en cuatro décadas.
Si bien se trata de una tecnología incipiente, la aparición de la computación cuántica
tendrá enormes implicaciones. Su principal atractivo es que cada qubit adicional duplica la
potencia informática total de una máquina. Comience a agregar qubits y se volverá
exponencialmente más poderoso. De hecho, un número relativamente pequeño de partículas
podría tener más poder de computación que si todo el universo se convirtiera en una
computadora clásica. Es el equivalente computacional de pasar de una película plana en
blanco y negro a una película a todo color y tridimensional, desatando un mundo de
posibilidades algorítmicas.
La computación cuántica tiene implicaciones de gran alcance. Por ejemplo, la
criptografía subyacente a todo, desde la seguridad del correo electrónico hasta las
criptomonedas, estaría repentinamente en riesgo, en un evento inminente que quienes están
en el campo llaman "Q-Day". La criptografía se basa en el supuesto de que un atacante nunca
tendrá suficiente potencia informática para probar todas las diferentes combinaciones
necesarias para romperla y desbloquear el acceso. Con la computación cuántica eso cambia.
Un despliegue rápido y desenfrenado de la computación cuántica podría tener implicaciones
catastróficas para las comunicaciones bancarias o gubernamentales. Ambos ya están
gastando miles de millones para evitar esa posibilidad.
Aunque gran parte del debate sobre la computación cuántica se ha centrado en sus
peligros, el campo también promete enormes beneficios, incluida la capacidad de explorar
fronteras en matemáticas y física de partículas. Investigadores de Microsoft y Ford utilizaron
enfoques cuánticos incipientes para modelar el tráfico de Seattle y encontrar mejores formas
de navegar en las horas pico, enrutar y hacer fluir el tráfico en rutas óptimas: un problema
matemático sorprendentemente complicado. En teoría, la solución de cualquier problema de
optimización podría acelerarse enormemente: casi cualquier cosa que implique minimizar
costos en circunstancias complejas, ya sea cargar eficientemente un camión o administrar
una economía nacional.
Podría decirse que la promesa más importante de la computación cuántica a corto plazo
es el modelado de reacciones químicas y la interacción de moléculas. con detalles que antes
eran imposibles. Esto podría permitirnos comprender el cerebro humano o la ciencia de los
materiales con una granularidad extraordinaria. La química y la biología serán totalmente
legibles por primera vez. El descubrimiento de nuevos compuestos farmacéuticos o
productos químicos y materiales industriales, un proceso costoso y minucioso de complicado
trabajo de laboratorio, podría acelerarse considerablemente y lograrse bien desde el primer
intento. Nuevas baterías y medicamentos son más probables, más eficientes y realizables. Lo
molecular se vuelve “programable”, tan flexible y manipulable como un código.
En otras palabras, la computación cuántica es otra tecnología fundamental aún en
desarrollo muy temprano, aún más lejos de alcanzar esos momentos críticos de reducción de
costos y proliferación generalizada, y mucho menos de los avances técnicos que la harán
completamente factible. Pero al igual que ocurre con la IA y la biología sintética, aunque en
una etapa anterior, parece estar en un punto en el que la financiación y el conocimiento están
aumentando, el progreso en desafíos fundamentales está aumentando y una variedad de
usos valiosos están apareciendo a la vista. Al igual que la IA y la biotecnología, la computación
cuántica ayuda a acelerar otros elementos de la ola. Y, sin embargo, ni siquiera el alucinante
mundo cuántico es el límite.

LA PRÓXIMA TRANSICIÓN ENERGÉTICA

La energía rivaliza con la inteligencia y la vida en su importancia fundamental. La civilización

moderna depende de grandes cantidades de él. De hecho, si quisieras escribir la ecuación
más cruda posible para nuestro mundo, sería algo como esto:

(Vida + Inteligencia) x Energía = Civilización Moderna

Aumente cualquiera o todos esos insumos (y mucho menos sobrecargue su costo marginal
hacia cero) y tendrá un cambio radical en la naturaleza de la sociedad.
El crecimiento interminable del consumo de energía no era posible ni deseable en la era
de los combustibles fósiles y, sin embargo, mientras duró el auge, el desarrollo de casi todo
lo que damos por sentado (desde alimentos baratos hasta transporte sin esfuerzo) dependió
de él. Ahora, un gran impulso de energía limpia y barata tiene implicaciones para todo, desde
el transporte hasta los edificios, sin mencionar la colosal energía necesaria para hacer
funcionar los centros de datos. y la robótica que estarán en el centro de las próximas décadas.
La energía, por muy cara y sucia que sea, es actualmente un limitador del ritmo de progreso
de la tecnología. No por mucho más tiempo.
 La energía renovable se convertirá en la mayor fuente de generación de electricidad para
2027. Este cambio se está produciendo a un ritmo sin precedentes, y en los próximos cinco
años se agregará más capacidad renovable que en las dos décadas anteriores. En particular,
la energía solar está experimentando un rápido crecimiento y sus costes disminuyen
significativamente. En 2000, la energía solar costaba 4,88 dólares por vatio, pero en 2019
había caído a sólo 38 centavos. La energía no sólo se está volviendo más barata; está más
distribuido y es potencialmente localizable desde dispositivos específicos a comunidades
enteras.
Detrás de todo esto se esconde el gigante latente de la energía limpia, esta vez inspirada,
si no impulsada directamente, por el sol: la fusión nuclear. El poder de fusión implica la
liberación de energía cuando los isótopos de hidrógeno chocan y se fusionan para formar
helio, un proceso considerado durante mucho tiempo el santo grial de la producción de
energía. Los primeros pioneros de la década de 1950 predijeron que tardaría alrededor de
una década en desarrollarse. Como muchas de las tecnologías descritas aquí, esa fue una
subestimación significativa.
Sin embargo, los avances recientes han despertado nuevas esperanzas. Investigadores
del Joint European Torus cerca de Oxford, Inglaterra, lograron una producción de energía
récord, el doble del máximo anterior registrado en 1997. En la Instalación Nacional de
Ignición en Livermore, California, los científicos han estado trabajando en un método
conocido como confinamiento inercial, que implica comprimir bolitas de material rico en
hidrógeno con láseres y calentándolas a 100 millones de grados para crear una reacción de
fusión fugaz. En 2022, crearon una reacción que demostró por primera vez una ganancia
neta de energía, un hito fundamental para producir más energía de la que aportan los láseres.
Ahora que un importante capital privado fluye hacia al menos treinta empresas emergentes
de fusión junto con importantes colaboraciones internacionales, los científicos hablan de
“cuándo y no si” llegará la fusión. Puede que todavía falte una década o más, pero un futuro
con esta fuente de energía limpia y prácticamente ilimitada parece cada vez más real.
La fusión y la energía solar ofrecen la promesa de inmensas redes energéticas
centralizadas y descentralizadas, cuyas implicaciones exploraremos en la parte 3. Estamos
en un momento de enorme optimismo. Incluyendo viento, hidrógeno y tecnologías de
baterías mejoradas, he aquí una mezcla que puede alimentar de manera sostenible las
muchas demandas de la vida tanto hoy como en el futuro y garantizar todo el potencial de la
ola.

LA OLA MÁS ALLÁ DE LA OLA

Estas tecnologías dominarán las próximas décadas. Pero ¿qué pasa con la segunda mitad del
siglo XXI? ¿Qué viene después de la próxima ola?
A medida que los elementos de la IA, la biotecnología avanzada, la computación cuántica
y la robótica se combinan de nuevas maneras, prepárese para avances como la
nanotecnología avanzada, un concepto que lleva la precisión cada vez mayor de la tecnología
a su conclusión lógica. ¿Qué pasaría si, en lugar de manipularlos en masa, los átomos
pudieran manipularse individualmente? Sería la apoteosis de la relación bits/átomos. La
visión definitiva de la nanotecnología es aquella en la que los átomos se convierten en
bloques de construcción controlables, capaces de ensamblar automáticamente casi cualquier
cosa.
Los desafíos prácticos son inmensos, pero son objeto de una intensidad de investigación
cada vez mayor. Un equipo de la Universidad de Oxford, por ejemplo, produjo un
ensamblador autorreplicante que apunta hacia las versiones multifuncionales imaginadas
por los pioneros de la nanotecnología: dispositivos capaces de diseñar y recombinar
infinitamente a escala atómica.
Las nanomáquinas funcionarían a velocidades muy superiores a las de nuestra escala,
ofreciendo resultados extraordinarios: un nanomotor a escala atómica, por ejemplo, podría
girar cuarenta y ocho mil millones de veces por minuto. Ampliado, podría alimentar un Tesla
con material equivalente en volumen a unos doce granos de arena. Este es un mundo de
estructuras de gasa hechas de diamantes, trajes espaciales que se adhieren al cuerpo y lo
protegen en todos los entornos, un mundo donde los compiladores pueden crear cualquier
cosa a partir de una materia prima básica. Un mundo, en resumen, donde cualquier cosa
puede convertirse en cualquier cosa con la manipulación atómica adecuada. El sueño del
universo físico convertido en una plataforma completamente maleable, el juguete de
pequeños y diestros nanobots o replicadores sin esfuerzo, sigue siendo territorio, como la
superinteligencia, de la ciencia ficción. Es una tecnofantasía, a la que le faltan muchas
décadas, pero que irá adquiriendo atención a medida que se desarrolle la ola venidera.

EN ESENCIA, LA ola que se avecina es una historia de proliferación de poder. Si la última ola
redujo los costos de transmitir información, ésta reduce los costos de actuar sobre ella,
dando lugar a tecnologías que van de la secuenciación a la síntesis, de la lectura a la escritura,
de la edición a la creación, de la imitación de conversaciones a su conducción. En esto, es
cualitativamente diferente de todas las oleadas anteriores, a pesar de todas las grandes
afirmaciones sobre el poder transformador de Internet. Este tipo de poder es aún más difícil
de centralizar y supervisar; Entonces, esta ola no es sólo una profundización y aceleración
del patrón de la historia, sino también una ruptura brusca con él.
No todo el mundo está de acuerdo en que estas tecnologías sean tan fijas o tan
trascendentales como creo que son. El escepticismo y la aversión al pesimismo no son
respuestas descabelladas, dado que hay mucha incertidumbre. Cada tecnología está sujeta a
un círculo vicioso de exageración, cada una es incierta en su desarrollo y recepción, cada una
está rodeada de desafíos técnicos, éticos y sociales. Ninguno está completo. Es seguro que
habrá reveses, y muchos de los daños (y de hecho los beneficios) aún no están claros.
Pero cada uno de ellos también se está volviendo más concreto, desarrollado y capaz día
a día. Cada uno es cada vez más accesible y más poderoso. Estamos llegando al punto decisivo
de lo que, en escalas de tiempo evolutivas geológicas o humanas, es una explosión
tecnológica que se desarrolla en oleadas sucesivas, un ciclo compuesto y acelerado de
innovación que se vuelve cada vez más rápido y con mayor impacto, irrumpiendo primero
en un período de miles de años, luego cientos de años, y ahora años o incluso meses. Si
observamos estas tecnologías en el contexto de comunicados de prensa y artículos de
opinión, al ritmo vertiginoso de las redes sociales, podrían parecer exageraciones y espuma;
Si ven la perspectiva a largo plazo, su verdadero potencial se vuelve claro.
Por supuesto, la humanidad ha experimentado cambios tecnológicos épicos antes como
parte de este proceso. Sin embargo, para comprender los desafíos singulares de la ola
venidera (por qué es tan especialmente difícil de contener, por qué su inmensa promesa debe
equilibrarse con una prudente cautela), primero tenemos que desglosar sus características
clave, algunas de las cuales carecen de importancia. precedente histórico, y todos los cuales
ya se están sintiendo.
 CAPÍTULO 7

CUATRO CARACTERÍSTICAS DE LA OLA QUE VIENE

Poco DESPUÉS DE QUE COMENZARA LA INVASIÓN RUSA de Ucrania el 24 de febrero de 2022, los
residentes de la ciudad de Kiev sabían que estaban luchando por sobrevivir. Al otro lado de
la frontera con Bielorrusia se había ido formando durante meses una colosal concentración
de tropas, blindados y material ruso. Luego, al comienzo de la invasión, las fuerzas rusas se
prepararon para un gran avance en lo que todavía era, en esta etapa, su objetivo principal:
capturar la capital de Ucrania y derrocar a su gobierno.
La pieza central de esta concentración de fuerza fue una columna de camiones, tanques
y artillería pesada de unos cuarenta kilómetros de largo, una ofensiva terrestre a una escala
no vista en Europa desde la Segunda Guerra Mundial. Comenzó a moverse hacia la ciudad.
Sobre el papel, los ucranianos estaban irremediablemente superados. Kiev parecía estar a
días, tal vez horas, de caer.
Pero eso no sucedió. En cambio, esa noche una unidad de unos treinta soldados
ucranianos con gafas de visión nocturna recorrió los bosques que rodean la capital en quads.
Desmontaron cerca de la cabeza de la columna y lanzaron drones equipados con pequeños
explosivos. Estos acabaron con un puñado de vehículos de plomo. Esos vehículos averiados
luego obstruyeron la carretera central. Los campos circundantes estaban embarrados e
intransitables. La columna, enfrentando un clima helado y líneas de suministro vacilantes, se
detuvo. Luego, la misma pequeña unidad de operadores de drones logró volar una base de
suministro crítica utilizando las mismas tácticas, privando al ejército ruso de combustible y
alimentos.
A partir de aquí cambió la batalla de Kiev. La mayor acumulación de fuerza militar
convencional en una generación fue humillada y enviada de regreso a Bielorrusia en un
desorden vergonzoso. Este ucraniano semi-improvisado La milicia se llamaba Aerorozvidka.
Un grupo heterogéneo de aficionados a los drones, ingenieros de software, consultores de
gestión y soldados, eran aficionados y diseñaban, construían y modificaban sus propios
drones en tiempo real, muy parecido a una nueva empresa. Gran parte de su equipo fue
financiado mediante crowdsourcing y crowdfunding.
La resistencia ucraniana hizo buen uso de las tecnologías de la próxima ola y demostró
cómo pueden socavar un cálculo militar convencional. La Internet satelital de última
generación de Starlink de SpaceX fue fundamental para mantener la conectividad. Un grupo
de mil programadores y científicos informáticos de élite no militar se unieron en una
organización llamada Delta para llevar capacidades avanzadas de inteligencia artificial y
robótica al ejército, utilizando el aprendizaje automático para identificar objetivos,
monitorear las tácticas rusas e incluso sugerir estrategias.
En los primeros días de la guerra, el ejército ucraniano carecía constantemente de
municiones. Cada huelga contaba. La precisión era una cuestión de supervivencia. La
capacidad de Delta para crear sistemas de aprendizaje automático para detectar objetivos
camuflados y ayudar a guiar las municiones fue fundamental. Un misil de precisión en un
ejército convencional cuesta cientos de miles de dólares; Con inteligencia artificial y drones
de consumo, con software personalizado y piezas impresas en 3D, ahora se ha probado en
batalla algo similar en Ucrania a un costo de alrededor de 15.000 dólares. Además de los
esfuerzos iniciales de Aerorozvidka, Estados Unidos suministró a Ucrania cientos de
municiones merodeadoras Switchblade, drones que esperan alrededor de un objetivo hasta
el momento óptimo para atacar.
Los drones y la IA desempeñaron un papel pequeño pero importante en los primeros
días del conflicto en Ucrania, nuevas tecnologías con un pronunciado potencial asimétrico
que cerraron parte de la brecha con un agresor mucho mayor. Las fuerzas estadounidenses,
británicas y europeas proporcionaron algo menos de 100.000 millones de euros en ayuda
militar en los primeros meses, incluida una enorme cantidad de potencia de fuego
convencional que, para ser claros, sin duda tuvo un impacto decisivo. Sin embargo, este
conflicto siguió siendo un hito porque demostró la rapidez con la que una fuerza de combate
relativamente no entrenada podía reunirse y armarse utilizando tecnologías relativamente
asequibles disponibles en el mercado de consumo. Cuando la tecnología confiere una ventaja
táctica y de costos como ésta, inevitablemente proliferará y será adoptada por todas las
partes.
Los drones nos permiten vislumbrar lo que nos depara el futuro de la guerra. Son una
realidad con la que los planificadores y los combatientes se enfrentan a diario. La verdadera
pregunta es qué significa esto para los conflictos cuando los costos de producción caen en
otro orden de magnitud y las capacidades se multiplican. Los ejércitos y gobiernos
convencionales ya están luchando por contenerlos. Lo que viene después será mucho más
difícil de contener.

COMO VIMOS EN la parte 1, las tecnologías, desde las máquinas de rayos X hasta los AK-47,
siempre han proliferado, con amplias consecuencias. Sin embargo, la ola que se avecina se
caracteriza por un conjunto de cuatro características intrínsecas que agravan el problema de
la contención. La primera de ellas es la lección principal de esta sección: un impacto
enormemente asimétrico . No es necesario golpear igual con igual, masa con masa; en cambio,
las nuevas tecnologías crean vulnerabilidades y puntos de presión antes impensables contra
potencias aparentemente dominantes.
En segundo lugar, se están desarrollando rápidamente, una especie de hiperevolución,
iterando, mejorando y ramificándose hacia nuevas áreas a una velocidad increíble. En tercer
lugar, suelen ser de uso omnipresente; es decir, se pueden utilizar para muchos propósitos
diferentes. Y cuarto, tienen cada vez más un grado de autonomía que va más allá de cualquier
tecnología anterior.
Estas características definen la ola. Comprenderlos es vital para identificar qué
beneficios y riesgos surgen de su creación; juntos elevan la contención y el control a un nuevo
plano de dificultad y peligro.
 ASIMETRÍA:
UNA COLOSAL TRANSFERENCIA DE PODER

Las tecnologías emergentes siempre han creado nuevas amenazas, redistribuido el poder y
eliminado barreras de entrada. Los cañones significaban que una pequeña fuerza podía
destruir castillos y nivelar ejércitos. Unos pocos soldados coloniales con armas avanzadas
podrían masacrar a miles de indígenas. La imprenta significaba que un solo taller podía
producir miles de folletos, difundiendo ideas con una facilidad que los monjes medievales
que copiaban libros a mano apenas podían imaginar. La energía del vapor permitió que las
fábricas individuales hicieran el trabajo de ciudades enteras. Internet tomó esto capacidad a
un nuevo pico: un solo tweet o imagen podría viajar por el mundo en minutos o segundos;
un solo algoritmo podría ayudar a una pequeña empresa emergente a convertirse en una
gran corporación que abarca todo el mundo.
Ahora este efecto vuelve a agudizarse. Esta nueva ola de tecnología ha desbloqueado
capacidades poderosas que son económicas, de fácil acceso y uso, específicas y escalables.
Esto claramente trae riesgos. No serán sólo los soldados ucranianos los que utilicen drones
armados. Será quien quiera. En palabras de la experta en seguridad Audrey Kurth Cronin,
“Nunca antes tantas personas habían tenido acceso a tecnologías tan avanzadas capaces de
infligir muerte y caos”.
En las escaramuzas en las afueras de Kiev, los drones eran juguetes de aficionados. La
empresa DJI, con sede en Shenzhen, fabrica productos baratos y ampliamente accesibles,
como su cuadricóptero con cámara Phantom de 1.399 dólares, un dron tan bueno que ha sido
utilizado por el ejército estadounidense. Si se combinan avances en inteligencia artificial y
autonomía, vehículos aéreos no tripulados baratos pero efectivos y mayores avances en
áreas que van desde la robótica hasta la visión por computadora, entonces se tiene un
armamento potente, preciso y potencialmente imposible de rastrear. Combatir los ataques
es difícil y costoso; Tanto los estadounidenses como los israelíes utilizan misiles Patriot de 3
millones de dólares para derribar drones valorados en unos doscientos dólares. Los
bloqueadores, misiles y contradrones son todavía incipientes y no siempre han sido
probados en batalla.
Estos acontecimientos representan una colosal transferencia de poder de los estados y
ejércitos tradicionales a cualquiera que tenga la capacidad y la motivación para desplegar
estos dispositivos. No hay ninguna razón obvia por la que un solo operador, con los medios
suficientes, no pueda controlar un enjambre de miles de drones.
Un único programa de IA puede escribir tanto texto como toda la humanidad. Un único
modelo de generación de imágenes de dos gigabytes que se ejecuta en su computadora
portátil puede comprimir todas las imágenes en la web abierta en una herramienta que
genera imágenes con extraordinaria creatividad y precisión. Un solo experimento
patogénico podría desencadenar una pandemia, un pequeño evento molecular con
ramificaciones globales. Una computadora cuántica viable podría hacer redundante toda la
infraestructura de cifrado del mundo. Las perspectivas de un impacto asimétrico están
creciendo en todas partes, y también en el sentido positivo: los sistemas individuales
también pueden generar enormes beneficios.
 Lo contrario de la acción asimétrica también es cierto. La propia escala y la
interconexión de la ola que se avecina crean nuevas vulnerabilidades sistémicas: un punto
de falla puede rápidamente extenderse en cascada por todo el mundo. Cuanto menos
localizada sea una tecnología, menos fácil será contenerla, y viceversa. Piense en los riesgos
que implican los automóviles. Los accidentes de tráfico son tan antiguos como el tráfico, pero
con el tiempo los daños se fueron minimizando. Todo ayudó, desde las marcas viales hasta
los cinturones de seguridad y la policía de tránsito. Aunque el automóvil fue una de las
tecnologías de más rápida proliferación y más globalizada de la historia, los accidentes eran
eventos inherentemente locales y discretos cuyo daño final estaba contenido. Pero ahora se
podría conectar en red una flota de vehículos. O un único sistema podría controlar vehículos
autónomos en todo un territorio. Por muchas salvaguardas y protocolos de seguridad que
existan, la escala del impacto es mucho más amplia de lo que hemos visto antes.
La IA crea riesgos asimétricos más allá de los de un lote de comida defectuoso, un
accidente aéreo o un producto defectuoso. Sus riesgos se extienden a sociedades enteras, lo
que la convierte no tanto en una herramienta contundente como en una palanca con
consecuencias globales. Así como los mercados globalizados y altamente conectados
transmiten el contagio en una crisis financiera, lo mismo ocurre con la tecnología. La escala
de la red hace que contener el daño, si se produce, sea casi imposible. Los sistemas globales
interconectados son pesadillas de contención. Y ya vivimos en una era de sistemas globales
interconectados. En la próxima ola, un solo punto (un programa determinado, un cambio
genético) puede alterarlo todo.

HIPEREVOLUCIÓN:
ACELERACIÓN SIN FIN

Si se quiere contener la tecnología, se puede esperar que se desarrolle a un ritmo manejable,

dando a la sociedad tiempo y espacio para entenderla y adaptarse a ella. Los coches vuelven
a ser un buen ejemplo. Su desarrollo durante el último siglo fue increíblemente rápido, pero
también dio tiempo para introducir todo tipo de normas de seguridad. Siempre hubo un
retraso, pero los estándares aún podían ponerse al día. Sin embargo, con el ritmo de cambio
de la próxima ola, eso parece poco probable.
Durante los últimos cuarenta años, Internet creció hasta convertirse en una de las
plataformas de innovación más fructíferas de la historia. El mundo digitalizado, y esto El
reino desmaterializado evolucionó a un ritmo desconcertante. Una explosión de desarrollo
vio surgir en sólo unos pocos años los servicios más utilizados en el mundo y las empresas
comerciales más grandes de la historia. Todo esto fue respaldado por el poder cada vez
mayor y la caída de los costos de computación que vimos en el capítulo 2. Consideremos lo
que la ley de Moore por sí sola proporcionará durante la próxima década. Si se mantiene,
dentro de diez años con un dólar se comprarán cien veces más que hoy. Ese hecho por sí solo
sugiere algunos resultados extraordinarios.
La otra cara de la moneda es que la innovación más allá de lo digital fue a menudo menos
espectacular. Fuera del ingrávido mundo del código, un creciente coro comenzó a
preguntarse qué pasó con el tipo de innovación de amplia base vista, por ejemplo, a finales
del siglo XIX o mediados del siglo XX. Durante ese breve período, casi todos los aspectos del
mundo (desde el transporte hasta las fábricas, los vuelos propulsados y los nuevos
materiales) cambiaron radicalmente. Pero en los primeros años del siglo XXI, la innovación
siguió el camino de menor resistencia, concentrándose en bits en lugar de átomos.
Eso ahora está cambiando. La hiperevolución del software se está extendiendo. En los
próximos cuarenta años veremos tanto el mundo de los átomos convertidos en bits con
nuevos niveles de complejidad y fidelidad como, fundamentalmente, el mundo de los bits
convertidos nuevamente en átomos tangibles con una velocidad y facilidad impensables
hasta hace poco.
En pocas palabras, la innovación en el “mundo real” podría comenzar a avanzar a un
ritmo digital, casi en tiempo real, con menos fricciones y menos dependencias. Podrá
experimentar en dominios pequeños, rápidos y maleables, creando simulaciones casi
perfectas y luego traduciéndolas en productos concretos. Y luego hacerlo una y otra vez,
aprendiendo, evolucionando y mejorando a un ritmo que antes era imposible en el costoso y
estático mundo de los átomos.
el físico César Hidalgo sostiene que las configuraciones de la materia son significativas
por la información que contienen. Un Ferrari es valioso no por su materia prima sino por la
compleja información almacenada en su intrincada construcción y forma; la información que
caracteriza la disposición de sus átomos es lo que lo convierte en un automóvil deseable.
Cuanto más poderosa es la base computacional, más manejable se vuelve. Combine eso con
IA y técnicas de fabricación. como la robótica sofisticada y la impresión 3D, y podemos
diseñar, manipular y fabricar productos del mundo real con mayor velocidad, precisión e
inventiva.
La IA ya ayuda a encontrar nuevos materiales y compuestos químicos. Por ejemplo, los
científicos han utilizado redes neuronales para producir nuevas configuraciones de litio, con
grandes implicaciones para la tecnología de baterías. La IA ha ayudado a diseñar y construir
un automóvil utilizando impresoras 3D. En algunos casos, el resultado final parece
extrañamente diferente de cualquier cosa diseñada por un ser humano, asemejándose a las
formas onduladas y eficientes que se encuentran en la naturaleza. Las configuraciones de
cableado y conductos se fusionan orgánicamente en el chasis para un uso óptimo del espacio.
Las piezas son demasiado complejas para construirlas con herramientas convencionales y
deben imprimirse en 3D.
En el capítulo 5, vimos qué están haciendo herramientas como AlphaFold para catalizar
la biotecnología. Hasta hace poco, la biotecnología dependía de un interminable trabajo
manual de laboratorio: medir, pipetear y preparar muestras cuidadosamente. Ahora las
simulaciones aceleran el proceso de descubrimiento de vacunas. Las herramientas
computacionales ayudan a automatizar partes de los procesos de diseño, recreando los
"circuitos biológicos" que programan funciones complejas en células como bacterias que
pueden producir una determinada proteína. Los marcos de software, como uno llamado
Cello, son casi como lenguajes de código abierto para el diseño de biología sintética. Esto
podría combinarse con mejoras rápidas en la robótica y la automatización de laboratorio y
con técnicas biológicas más rápidas como la síntesis enzimática que vimos en el capítulo 5,
ampliando el alcance de la biología sintética y haciéndola más accesible. La evolución
biológica está sujeta a los mismos ciclos que el software.
 Así como los modelos actuales producen imágenes detalladas basadas en unas pocas
palabras, en las próximas décadas modelos similares producirán un nuevo compuesto o
incluso un organismo completo con sólo unas pocas indicaciones del lenguaje natural. El
diseño de ese compuesto podría mejorarse mediante innumerables pruebas de ejecución
automática, del mismo modo que AlphaZero se convirtió en un experto jugador de ajedrez o
de Go mediante el juego autónomo. Las tecnologías cuánticas, muchos millones de veces más
poderosas que las computadoras clásicas más poderosas, podrían permitir que esto se
desarrolle a nivel molecular. Esto es lo que queremos decir con hiperevolución: una
plataforma rápida e iterativa para la creación.
Esta evolución tampoco se limitará a áreas específicas, predecibles y fácilmente
controlables. Estará en todas partes.

OMNI-USO:
MÁS ES MÁS

Desafiando la sabiduría convencional, el progreso en la atención de la salud fue una de las

áreas que se desaceleró en el reciente estancamiento de la innovación en el ámbito de los
átomos. Descubrir nuevos medicamentos se volvió más difícil y costoso. La esperanza de vida
se estabilizó e incluso empezó a disminuir en algunos estados de EE.UU. Los avances en
enfermedades como el Alzheimer no estuvieron a la altura de las expectativas.
Una de las áreas más prometedoras de la IA, y una salida a este panorama sombrío, es el
descubrimiento automatizado de fármacos. Las técnicas de inteligencia artificial pueden
buscar en el vasto espacio de posibles moléculas tratamientos esquivos pero útiles. En 2020,
un sistema de inteligencia artificial examinó 100 millones de moléculas para crear el primer
antibiótico derivado del aprendizaje automático, llamado halicina (sí, en honor a HAL de
2001: Una odisea en el espacio ), que potencialmente puede ayudar a combatir la tuberculosis.
Empresas emergentes como Exscientia, junto con gigantes farmacéuticos tradicionales como
Sanofi, han hecho de la IA un motor de la investigación médica. Hasta la fecha, se han
obtenido dieciocho activos clínicos con la ayuda de herramientas de inteligencia artificial.
Hay una otra cara de la moneda. Los investigadores que buscaban estos útiles
compuestos plantearon una pregunta incómoda. ¿Qué pasaría si redirigieras el proceso de
descubrimiento? ¿Qué pasaría si, en lugar de buscar curas, buscaras asesinos? Hicieron una
prueba y le pidieron a su IA generadora de moléculas que encontrara venenos. En seis horas
identificó más de cuarenta mil moléculas con una toxicidad comparable a la de las armas
químicas más peligrosas, como el Novichok. Resulta que en el descubrimiento de fármacos,
una de las áreas en las que la IA sin duda marcará la diferencia más clara posible, las
oportunidades son en gran medida de “doble uso”.
Las tecnologías de doble uso son aquellas que tienen aplicaciones tanto civiles como
militares. En la Primera Guerra Mundial, el proceso de síntesis de amoníaco se consideró una
forma de alimentar al mundo. Pero también permitió la creación de explosivos y ayudó a
allanar el camino para las armas químicas. Los sistemas electrónicos complejos para aviones
de pasajeros pueden reutilizarse para misiles de precisión. Por el contrario, el Sistema de
Posicionamiento Global era originalmente un sistema militar, pero ahora tiene innumerables
usos cotidianos para los consumidores. En el momento de su lanzamiento, el Departamento
de Defensa de EE. UU. consideró que la PlayStation 2 era tan poderosa que potencialmente
podría ayudar a enemigos hostiles. a los militares generalmente se les negaba el acceso a
dicho hardware. Las tecnologías de doble uso son herramientas y armas útiles y
potencialmente destructivas. Lo que el concepto captura es cómo las tecnologías tienden
hacia lo general, y cierta clase de tecnologías conlleva un mayor riesgo debido a esto. Se
pueden destinar a muchos fines (buenos, malos y en todos los puntos intermedios) a menudo
con consecuencias difíciles de predecir.
Pero el verdadero problema es que no sólo la biología de frontera o los reactores
nucleares tienen doble uso. La mayoría de las tecnologías tienen aplicaciones o potencial
militar y civil; la mayoría de las tecnologías son de alguna manera de doble uso. Y cuanto más
poderosa sea la tecnología, más preocupación debería haber sobre cuántos usos podría
tener.
Las tecnologías de la próxima ola son muy poderosas, precisamente porque son
fundamentalmente generales. Si estás construyendo una ojiva nuclear, es obvio para qué
sirve. Pero se podría diseñar un sistema de aprendizaje profundo para jugar y al mismo
tiempo ser capaz de volar una flota de bombarderos. La diferencia no es obvia a priori.
Un término más apropiado para las tecnologías de la próxima ola es “omniuso”, un
concepto que capta los niveles puros de generalidad, la extrema versatilidad que se exhibe.
Las tecnologías omniuso, como el vapor o la electricidad, tienen efectos y derrames sociales
más amplios que las tecnologías más limitadas. Si la IA es realmente la nueva electricidad,
entonces, al igual que la electricidad, será un servicio bajo demanda que permeará y
alimentará casi todos los aspectos de la vida diaria, la sociedad y la economía: una tecnología
de propósito general incorporada en todas partes. Contener algo como esto siempre será
mucho más difícil que contener una tecnología restringida y de una sola tarea, atrapada en
un nicho pequeño con pocas dependencias.
Los sistemas de inteligencia artificial comenzaron utilizando técnicas generales como el
aprendizaje profundo para propósitos específicos, como administrar el uso de energía en un
centro de datos o jugar Go. Eso está cambiando. Ahora, sistemas individuales como el
generalista Gato de DeepMind pueden realizar más de seiscientas tareas diferentes. La
misma red puede jugar juegos de Atari, subtitular imágenes, responder preguntas y apilar
bloques con un brazo robótico real. Gato se entrena no sólo con texto sino también con
imágenes, movimientos de torsión que actúan sobre brazos robóticos, pulsaciones de
botones al jugar en el ordenador, etc. Todavía es muy temprano y los sistemas
verdaderamente generales aún están lejos, pero en algún momento estas capacidades se
expandirán a muchos miles de actividades.
Consideremos también la biología sintética a través del prisma omniuso. La ingeniería
de la vida es una técnica completamente general cuyos usos potenciales son casi ilimitados;
podría crear material para la construcción, abordar enfermedades y almacenar datos. Más
es más y hay una buena razón para ello. Las tecnologías omniuso son más valiosas que las
limitadas. Hoy en día, los tecnólogos no quieren diseñar tecnologías que sean aplicaciones
limitadas, específicas y monofuncionales. En cambio, el objetivo es diseñar cosas más
parecidas a los teléfonos inteligentes: teléfonos pero, más importante aún, dispositivos para
tomar fotografías, mantenerse en forma, jugar, navegar por las ciudades, enviar correos
electrónicos, etc.
 Con el tiempo, la tecnología tiende a la generalidad. Lo que esto significa es que los usos
armamentísticos o dañinos de la próxima ola serán posibles independientemente de si esto
fue lo que se pretendía. La simple creación de tecnologías civiles tiene ramificaciones para la
seguridad nacional. Anticipar el espectro completo de casos de uso en la ola más omniusos
de la historia es más difícil que nunca.
La noción de que una nueva tecnología se adapte para múltiples usos no es nueva. Una
herramienta simple como un cuchillo puede picar cebollas o permitir una matanza
desquiciada. Incluso tecnologías aparentemente específicas tienen implicaciones de doble
uso: el micrófono permitió tanto los mítines de Nuremberg como los de los Beatles. Lo que
es diferente de la ola venidera es la rapidez con la que se está integrando, cuán globalmente
se propaga, con qué facilidad se puede componer en partes intercambiables y cuán
poderosas y, sobre todo, amplias podrían ser sus aplicaciones. Despliegue implicaciones
complejas para todo, desde los medios hasta la salud mental, los mercados y la medicina.
Éste es el problema de contención agrandado. Después de todo, estamos hablando de
fundamentos como la inteligencia y la vida. Pero ambas propiedades tienen una
característica aún más interesante que su generalidad.

AUTONOMÍA Y MÁS ALLÁ:

¿ESTARÁN LOS HUMANOS EN EL EJEMPLO?

La evolución tecnológica se ha ido acelerando durante siglos. Las características omniuso y

los impactos asimétricos se magnificarán en la próxima ola, pero hasta cierto punto son
propiedades inherentes a toda tecnología. Ese no es el caso de la autonomía. A lo largo de la
historia, la tecnología ha sido “sólo” una herramienta, pero ¿qué pasa si la herramienta cobra
vida?
Los sistemas autónomos pueden interactuar con su entorno y realizar acciones sin la
aprobación inmediata de los humanos. Durante siglos, la idea de que la tecnología se está
descontrolando, de que es una fuerza autodirigida y autopropulsada más allá de los ámbitos
de la acción humana, siguió siendo una ficción.
Ya no.
La tecnología siempre ha consistido en permitirnos hacer más, pero lo más importante
es que los seres humanos sigan haciendo las cosas. Ha aprovechado nuestras capacidades
existentes y automatizado tareas codificadas con precisión. Hasta ahora, la supervisión y la
gestión constantes han sido la norma. La tecnología permaneció, en mayor o menor grado,
bajo un control humano significativo. La autonomía total es cualitativamente diferente.
Tomemos como ejemplo los vehículos autónomos. En determinadas condiciones
actuales, pueden circular por carreteras con una mínima o nula intervención directa del
conductor. Los investigadores en el campo clasifican la autonomía desde el nivel 0, sin
autonomía alguna, hasta el nivel 5, donde un vehículo puede conducirse solo en todas las
condiciones y el conductor simplemente ingresa un destino y luego puede quedarse
felizmente dormido. No encontrarás vehículos de nivel 5 en las carreteras en el corto plazo,
sobre todo por razones legales y de seguros.
 La nueva ola de autonomía presagia un mundo en el que la intervención y la supervisión
constantes son cada vez más innecesarias. Es más, con cada interacción estamos enseñando
a las máquinas a ser exitosamente autónomas. En este paradigma, no es necesario que un ser
humano defina laboriosamente la manera en que debe realizarse una tarea. En lugar de eso,
simplemente especificamos un objetivo de alto nivel y confiamos en una máquina para
descubrir la forma óptima de llegar allí. Mantener a los humanos “al tanto”, como dice el
refrán, es deseable, pero opcional.
Nadie le dijo a AlphaGo que el movimiento 37 era una buena idea. Descubrió esta idea
en gran medida por sí solo. Fue precisamente esta característica la que me llamó tanto la
atención al ver a DQN jugar Breakout. Dado algún objetivo claramente especificado, ahora
existen sistemas que pueden encontrar sus propias estrategias para ser efectivas. AlphaGo y
DQN no eran autónomos en sí mismos. Pero dan pistas sobre cómo sería un sistema que se
mejora a sí mismo. Nadie codifica manualmente GPT-4 para escribir como Jane Austen, ni
producir un haiku original, ni generar textos de marketing para un sitio web que vende
bicicletas. Estas características son efectos emergentes de una arquitectura más amplia
cuyos resultados son nunca decidido de antemano por sus diseñadores. Este es el primer
paso en la escalera hacia una autonomía cada vez mayor. La investigación interna sobre GPT-
4 concluyó que "probablemente" no era capaz de actuar de forma autónoma o
autorreplicarse, pero a los pocos días del lanzamiento, los usuarios habían encontrado
formas de hacer que el sistema solicitara su propia documentación y escribiera scripts para
copiarse a sí mismo y hacerse cargo de otras máquinas. Las primeras investigaciones incluso
afirmaron haber encontrado "chispas de AGI" en el modelo, y agregaron que estaba
"sorprendentemente cerca del rendimiento a nivel humano". Estos ahora están apareciendo
a la vista.
Las nuevas formas de autonomía tienen el potencial de producir una serie de efectos
novedosos y difíciles de predecir. Prever cómo se comportarán los genomas personalizados
es increíblemente difícil. Además, una vez que los investigadores realizan cambios genéticos
en la línea germinal de una especie, esos cambios podrían permanecer en los seres vivos
potencialmente durante milenios, mucho más allá de todo control o predicción. Podrían
repercutir en incontables generaciones. Inevitablemente no está claro cómo evolucionan o
interactúan con otros cambios a estas distancias, y está fuera de control. Los organismos
sintéticos están literalmente cobrando vida propia.
Los humanos nos enfrentamos a un desafío singular: ¿estarán fuera de nuestro alcance
los nuevos inventos? Anteriormente, los creadores podían explicar cómo funcionaba algo y
por qué hacía lo que hacía, incluso si esto requería grandes detalles. Esto ya no es cada vez
más cierto. Muchas tecnologías y sistemas se están volviendo tan complejos que están más
allá de la capacidad de cualquier individuo para comprenderlos realmente: la computación
cuántica y otras tecnologías operan hacia los límites de lo que se puede conocer.
Una paradoja de la próxima ola es que sus tecnologías están en gran medida más allá de
nuestra capacidad de comprender a un nivel granular, pero aún están dentro de nuestra
capacidad de crear y utilizar. En la IA, las redes neuronales que avanzan hacia la autonomía
no son, en la actualidad, explicables. No se puede guiar a alguien a través del proceso de toma
de decisiones para explicarle con precisión por qué un algoritmo produjo una predicción
específica. Los ingenieros no pueden mirar debajo del capó y explicar fácilmente qué causó
que algo sucediera. GPT-4, AlphaGo y el resto son cajas negras, cuyos resultados y decisiones
se basan en cadenas opacas e intrincadas de señales diminutas. Los sistemas autónomos
pueden y pueden ser explicables, pero el hecho de que gran parte de la ola venidera opere al
borde de lo que podemos entender debería ser explicable. danos una pausa. No siempre
podremos predecir qué harán estos sistemas autónomos a continuación; esa es la naturaleza
de la autonomía.
Sin embargo, justo en la vanguardia, algunos investigadores de IA quieren automatizar
todos los aspectos de la construcción de sistemas de IA, alimentando esa hiperevolución,
pero potencialmente con grados radicales de independencia a través de la superación
personal. Las IA ya están encontrando formas de mejorar sus propios algoritmos. ¿Qué
sucede cuando combinan esto con acciones autónomas en la web, como en Modern Turing
Test y ACI, llevando a cabo sus propios ciclos de I+D?

EL PROBLEMA DEL GORILA

A menudo he sentido que se ha prestado demasiada atención a escenarios lejanos de AGI,

dados los obvios desafíos a corto plazo presentes en gran parte de la ola venidera. Sin
embargo, cualquier discusión sobre la contención debe reconocer que, si surgen tecnologías
similares a la AGI, presentarán problemas de contención más allá de cualquier otro que
hayamos encontrado. Los humanos dominamos nuestro entorno debido a nuestra
inteligencia. Por lo tanto, una entidad más inteligente podría dominarnos. El investigador de
inteligencia artificial Stuart Russell lo llama el “problema de los gorilas”: los gorilas son
físicamente más fuertes y resistentes que cualquier ser humano, pero son ellos los que están
en peligro de extinción o los que viven en zoológicos; los que están contenidos. Nosotros, con
nuestros débiles músculos pero nuestros grandes cerebros, hacemos la contención.
Al crear algo más inteligente que nosotros, podríamos ponernos en la posición de
nuestros primos primates. Con una visión a largo plazo en mente, quienes se centran en
escenarios AGI tienen razón en estar preocupados. De hecho, hay argumentos sólidos de que,
por definición, una superinteligencia sería totalmente imposible de controlar o contener.
Una “explosión de inteligencia” es el punto en el que una IA puede mejorarse a sí misma una
y otra vez, mejorando recursivamente de maneras cada vez más rápidas y efectivas. Aquí
está la tecnología definitiva, incontenible e incontenible. La cruda verdad es que nadie sabe
cuándo, si o exactamente cómo las IA podrían escaparse de nosotros y qué sucederá después;
nadie sabe cuándo o si se volverán completamente autónomos o cómo hacer que se
comporten con conciencia y alineación con nuestros valores, suponiendo que podamos
conformarnos con esos valores en primer lugar.
Nadie sabe realmente cómo podemos contener las características que se están
investigando con tanta atención en la próxima ola. Llega un punto en el que la tecnología
puede dirigir plenamente su propia evolución; donde está sujeto a procesos recursivos de
mejora; dónde va más allá de toda explicación; donde, en consecuencia, es imposible
predecir cómo se comportará en la naturaleza; donde, en resumen, alcanzamos los límites
de la agencia y el control humanos.
En última instancia, en sus formas más dramáticas, la ola que se avecina podría significar
que la humanidad ya no estará en la cima de la cadena alimentaria. El Homo technologicus
puede acabar amenazado por su propia creación. La verdadera pregunta no es si la ola se
acerca. Claramente lo es; solo mire y podrá ver que ya se está formando. Dados riesgos como
estos, la verdadera pregunta es por qué es tan difícil verlo como algo más que inevitable.
 CAPÍTULO 8

INCENTIVOS IMPARABLES

La IMPORTANCIA DE ALPHAGO FUE EN PARTE UNA cuestión de tiempo: el avance sorprendió a los
expertos al llegar más rápido de lo que la mayoría de la comunidad de IA había pensado
posible. Incluso días antes de su primera competición pública en marzo de 2016, destacados
investigadores pensaban que una IA simplemente no podía ganar en este nivel de Go. En
DeepMind, todavía no estábamos seguros de que nuestro programa prevaleciera en un
enfrentamiento con un competidor humano maestro.
Consideramos el concurso como un gran desafío técnico, un punto de referencia en una
misión de investigación más amplia. Dentro de la comunidad de IA, representó una primera
prueba pública de alto perfil de aprendizaje por refuerzo profundo y uno de los primeros
usos de investigación de un grupo muy grande de computación GPU. En la prensa, el
enfrentamiento entre AlphaGo y Lee Sedol fue presentado como una batalla épica: humano
contra máquina; Los mejores y más brillantes de la humanidad contra la fuerza fría y sin vida
de una computadora. Indique todos los tropos cansados de Terminators y señores robots.
Pero bajo la superficie, otra dimensión más importante se estaba volviendo clara, una
tensión que me preocupaba levemente antes del concurso, pero cuyos contornos emergieron
más claramente a medida que se desarrollaba el evento. AlphaGo no era sólo una lucha entre
humanos y máquinas. Mientras Lee Sedol se enfrentaba a AlphaGo, DeepMind estaba
representada por la Union Jack, mientras que el bando de Sedol ondeaba la taegeukgi, la
inconfundible bandera de Corea del Sur. Oeste versus Este. Esta implicación de rivalidad
nacional fue un aspecto de la contienda que pronto llegué a lamentar.
Es difícil exagerar lo popular que fue la competición en Asia. En Occidente, los
entusiastas de la IA siguieron el proceso. y atrajo la atención de algunos periódicos. Fue un
momento significativo en la historia de la tecnología, para quienes se preocupan por esas
cosas. En toda Asia, sin embargo, el evento fue más grande que el Super Bowl. Más de 280
millones de personas lo vieron en vivo. Nos habíamos apoderado de un hotel entero en el
centro de Seúl, acosados por miembros siempre presentes de los medios locales e
internacionales. Difícilmente podías moverte ante cientos de fotógrafos y cámaras de
televisión. La intensidad no se parecía a nada que hubiera experimentado antes, un nivel de
escrutinio y exageración que parecía extraño en lo que era, para los observadores
occidentales, un juego oscuro para los entusiastas de las matemáticas. Los desarrolladores
de IA, basta decirlo, no estaban acostumbrados a esto.
En Asia no eran sólo los geeks los que miraban. Fueron todos. Y pronto quedó claro que
entre los observadores había empresas de tecnología, gobiernos y militares. El resultado
envió una onda de choque a través de todos ellos. El significado no pasó desapercibido para
nadie. El retador, una empresa occidental, con sede en Londres y de propiedad
estadounidense, acababa de entrar en un juego antiguo, icónico y preciado, literalmente puso
su bandera en el césped y arrasó con el equipo local. Era como si un grupo de robots coreanos
hubiera aparecido en el Yankee Stadium y hubiera vencido al equipo estelar de béisbol de
Estados Unidos.
Para nosotros el evento fue un experimento científico. Fue una demostración poderosa
(y, sí, genial) de técnicas de vanguardia que habíamos pasado años tratando de perfeccionar.
Fue emocionante desde una perspectiva de ingeniería, estimulante para su competencia y
desconcertante estar en el centro de un circo mediático. Para muchos en Asia fue algo más
doloroso, un ejemplo de orgullo regional y nacional herido.
Seúl no fue el final para AlphaGo. Un año después, en mayo de 2017, participamos en un
segundo torneo, esta vez contra el jugador número uno del ranking mundial: Ke Jie. Este
enfrentamiento tuvo lugar en Wuzhen, China, en la Cumbre Future of Go. Nuestra recepción
en Wuzhen fue sorprendentemente diferente. La transmisión en vivo de los partidos estaba
prohibida en la República Popular. No se permitió ninguna mención de Google. El ambiente
era más estricto, más controlado; la narrativa cuidadosamente curada por las autoridades.
No más circo mediático. El subtexto era claro: esto ya no era sólo un juego. AlphaGo volvió a
ganar, pero lo hizo en medio de una atmósfera inconfundiblemente tensa.
Algo había cambiado. Si Seúl ofreció una pista, Wuzhen la trajo a casa. Cuando el polvo
se asentó, quedó claro que AlphaGo era parte de una una historia más grande que un trofeo,
sistema o empresa; fue el de grandes potencias involucradas en un nuevo y peligroso juego
de competencia tecnológica, y una serie de incentivos abrumadoramente poderosos y
entrelazados que garantizan que la próxima ola realmente llegue.

LA TECNOLOGÍA ES IMPULSADA por impulsores demasiado rudimentarios y fundamentalmente

humanos. De la curiosidad a la crisis, de la fortuna al miedo, en el fondo la tecnología surge
para satisfacer las necesidades humanas. Si la gente tiene razones poderosas para
construirlo y utilizarlo, se construirá y utilizará. Sin embargo, en la mayoría de los debates
sobre tecnología la gente todavía se queda estancada en lo que es, olvidando por qué se creó
en primer lugar. No se trata de un tecnodeterminismo innato. Se trata de lo que significa ser
humano.
Anteriormente vimos que hasta ahora no se ha podido contener ninguna ola de
tecnología. En este capítulo analizamos por qué es probable que la historia se repita; por qué,
gracias a una serie de macromotores detrás del desarrollo y la difusión de las tecnologías, el
fruto no quedará en el árbol; por qué la ola romperá. Mientras existan estos incentivos, la
importante pregunta de “¿deberíamos?” es discutible.
El primer factor tiene que ver con lo que experimenté con AlphaGo: una competencia de
gran potencia. La rivalidad tecnológica es una realidad geopolítica. De hecho, siempre lo ha
sido. Las naciones sienten la necesidad existencial de mantenerse al día con sus pares. La
innovación es poder. En segundo lugar viene un ecosistema de investigación global con sus
rituales arraigados que recompensan la publicación abierta, la curiosidad y la búsqueda de
nuevas ideas a toda costa. Luego vienen las inmensas ganancias financieras de la tecnología
y la urgente necesidad de abordar nuestros desafíos sociales globales. Y el conductor final es
quizás el más humano de todos: el ego.
 Antes de eso, volvamos a la geopolítica, donde el pasado reciente ofrece una potente
lección.

ORGULLO NACIONAL, NECESIDAD ESTRATÉGICA

Los Estados Unidos de la posguerra dieron por sentada su supremacía tecnológica. El Sputnik
lo despertó. En el otoño de 1957, los soviéticos lanzaron el Sputnik, el primer satélite
artificial del mundo, la primera invasión espacial de la humanidad. Del tamaño de una pelota
de playa, todavía era increíblemente futurista. Sputnik estaba allí arriba para que el mundo
pudiera ver, o más bien escuchar, sus pitidos extraterrestres transmitiéndose por todo el
planeta. Lograrlo fue una hazaña innegable.
Esta fue una crisis para Estados Unidos, un Pearl Harbor tecnológico. La política
reaccionó. La ciencia y la tecnología, desde las escuelas secundarias hasta los laboratorios
avanzados, se convirtieron en prioridades nacionales, con nueva financiación y nuevas
agencias como la NASA y DARPA. Se invirtieron enormes recursos en importantes proyectos
tecnológicos, entre ellos las misiones Apolo. Estos impulsaron muchos avances importantes
en cohetería, microelectrónica y programación informática. Se fortalecieron alianzas
incipientes como la OTAN. Doce años después, fueron Estados Unidos, no la URSS, quienes
lograron llevar un ser humano a la Luna. Los soviéticos casi se arruinaron tratando de
mantener el ritmo. Con el Sputnik, Rusia había superado a Estados Unidos, un logro técnico
histórico con enormes ramificaciones geopolíticas. Pero cuando Estados Unidos necesitó dar
un paso al frente, lo hizo.
Así como el Sputnik finalmente puso a Estados Unidos en camino de convertirse en una
superpotencia en cohetes, tecnología espacial, informática y todas sus aplicaciones militares
y civiles, algo similar está ocurriendo ahora en China. AlphaGo fue rápidamente calificado
como el momento Sputnik de China para la IA. Los estadounidenses y Occidente, tal como lo
habían hecho en los primeros días de Internet, amenazaban con adelantarse a una tecnología
que haría época. Aquí estaba el recordatorio más claro posible de que China, derrotada en
un pasatiempo nacional, podría encontrarse una vez más muy atrás de la frontera.
En China, el Go no era sólo un juego. Representaba un nexo más amplio de historia,
emoción y cálculo estratégico. China ya estaba comprometida a invertir fuertemente en
ciencia y tecnología, pero AlphaGo ayudó a centrar aún más la atención de los gobiernos en
la IA. China, con sus miles de años de historia, alguna vez fue el crisol de la innovación
tecnológica mundial; Ahora era dolorosamente consciente de que se había quedado atrás,
perdiendo la carrera tecnológica frente a europeos y estadounidenses en diversos frentes,
desde medicamentos hasta portaaviones. Había soportado un “siglo de humillación”, como
lo llama el Partido Comunista Chino (PCC). Algo que, según el partido, no debe volver a
suceder nunca más.
Es hora, argumentó el PCC, de recuperar el lugar que le corresponde. En las palabras de
Xi Jinping, en su discurso ante el Vigésimo Congreso del PCC en 2022, “para satisfacer las
necesidades estratégicas”, el país “debe adherirse a la ciencia y la tecnología como la fuerza
productiva número uno, el talento como el recurso número uno, [y] la innovación como el
recurso número uno”. -una fuerza motriz.”
 El modelo vertical de China significa que puede movilizar todos los recursos del Estado
para fines tecnológicos. Hoy en día, China tiene una estrategia nacional explícita para ser el
líder mundial en IA para 2030. El Plan de Desarrollo de Inteligencia Artificial de Nueva
Generación, anunciado apenas dos meses después de que Ke Jie fuera derrotado por
AlphaGo, tenía como objetivo aprovechar al gobierno, el ejército, las organizaciones de
investigación, y la industria en una misión colectiva. “ Para 2030, las teorías, tecnologías y
aplicaciones de IA de China deberían alcanzar niveles líderes en el mundo”, declara el plan,
“convirtiendo a China en el principal centro de innovación en IA del mundo”. Desde la
defensa hasta las ciudades inteligentes, desde la teoría fundamental hasta las nuevas
aplicaciones, China debería ocupar las “alturas dominantes” de la IA.
Estas audaces declaraciones no son sólo posturas vacías. Mientras escribo esto, apenas
seis años después de que China publicara el plan, Estados Unidos y otras naciones
occidentales ya no tienen una gran ventaja en la investigación de la IA. Universidades como
Tsinghua y Pekín son competitivas con instituciones occidentales como Stanford, MIT y
Oxford. De hecho, Tsinghua publica más investigaciones sobre IA que cualquier otra
institución académica del planeta. China tiene una proporción creciente e impresionante de
los artículos más citados sobre IA. En términos de volumen de investigación sobre IA, las
instituciones chinas han publicado nada menos que cuatro veces y media más artículos sobre
IA que sus homólogos estadounidenses desde 2010, y cómodamente más que Estados
Unidos, el Reino Unido, India y Alemania juntos.
Tampoco se trata sólo de IA. Desde las tecnologías limpias hasta la biociencia, China
avanza en todo el espectro de tecnologías fundamentales, invirtiendo a una escala épica, un
gigante de la propiedad intelectual en expansión con “características chinas”. China superó
a Estados Unidos en número de doctorados producidos en 2007, pero desde entonces la
inversión y la expansión de programas han sido significativas, produciendo casi el doble de
doctorados en STEM que Estados Unidos cada año. Más de cuatrocientos “laboratorios
estatales clave” sustentan un sistema de investigación público-privado generosamente
financiado que cubre todo, desde la biología molecular hasta el diseño de chips. En los
primeros años de En el siglo XXI, el gasto en I+D de China fue sólo el 12 por ciento del de
Estados Unidos. En 2020, era el 90 por ciento. En cuanto a las tendencias actuales, estará
significativamente por delante a mediados de la década de 2020, como ya lo está en materia
de solicitudes de patentes.
China fue el primer país en posar una sonda en el lado oscuro de la Luna. Ningún otro
país había siquiera intentado esto. Tiene más de las quinientas supercomputadoras más
importantes del mundo que cualquier otro lugar. El Grupo BGI, un gigante de la genética con
sede en Shenzhen, tiene una extraordinaria capacidad de secuenciación de ADN, con
respaldo tanto privado como estatal, miles de científicos y vastas reservas de datos de ADN
y capacidad informática. Xi Jinping ha pedido explícitamente una “revolución de los robots”:
China instala tantos robots como el resto del mundo combinado. Construyó misiles
hipersónicos que Estados Unidos pensó que tardarían años, es líder mundial en campos que
van desde las comunicaciones 6G hasta la energía fotovoltaica, y es el hogar de importantes
empresas tecnológicas como Tencent, Alibaba, DJI, Huawei y ByteDance.
La computación cuántica es un área de notable experiencia china. A raíz de la filtración
de información clasificada de los programas de inteligencia estadounidenses por parte de
Edward Snowden, China se volvió particularmente paranoica y deseosa de construir una
plataforma de comunicaciones segura. Otro momento Sputnik. En 2014, China presentó la
misma cantidad de patentes de tecnología cuántica que Estados Unidos; en 2018 había
presentado el doble.
En 2016, China envió al espacio el primer “satélite cuántico” del mundo, Micius, como
parte de una nueva infraestructura de comunicaciones supuestamente segura. Pero Micius
fue sólo el comienzo en la búsqueda de China de una Internet cuántica imposible de piratear.
Un año después, los chinos construyeron un enlace cuántico de dos mil kilómetros entre
Shanghai y Beijing para transmitir información financiera y militar segura. Están invirtiendo
más de 10 mil millones de dólares en la creación del Laboratorio Nacional de Ciencias de la
Información Cuántica en Hefei, la instalación de este tipo más grande del mundo. Tienen
récords en la vinculación de qubits mediante entrelazamiento cuántico, un paso importante
en el camino hacia computadoras cuánticas de pleno derecho. Los científicos de Hefei incluso
afirmaron haber construido una computadora cuántica 10 14 veces más rápida que el
revolucionario Sycamore de Google .
El investigador principal de Micius y uno de los científicos cuánticos más importantes
del mundo, Pan Jianwei, dejó claro lo que esto significa. "Creo que hemos iniciado una carrera
espacial cuántica mundial", dijo. “Con información moderna ciencia, China ha sido un
aprendiz y un seguidor. Ahora, con la tecnología cuántica, si hacemos nuestro mejor esfuerzo
podemos ser uno de los principales actores”.
Los persistentes desprecios de Occidente durante décadas acerca de que las capacidades
de China “no son creativas” estaban totalmente equivocados. Dijimos que sólo sabían imitar,
que eran demasiado restringidos y carentes de libertad, que las empresas estatales eran
terribles. En retrospectiva, la mayoría de estas evaluaciones eran completamente erróneas
y, cuando tenían mérito, no impidieron que China emergiera como un titán moderno en
ciencia e ingeniería, sobre todo porque las transferencias legales de propiedad intelectual,
como la compra de empresas y la traducción de revistas, estaban respaldadas. con robo
descarado, transferencias forzadas, ingeniería inversa y operaciones de espionaje.
Mientras tanto, Estados Unidos está perdiendo su liderazgo estratégico. Durante años
fue obvio que Estados Unidos tenía la supremacía en todo, desde el diseño de
semiconductores hasta los productos farmacéuticos, la invención de Internet y la tecnología
militar más sofisticada del mundo. No se ha ido, pero se va. Un informe de Graham Allison de
Harvard sostiene que la situación es mucho más grave de lo que la mayoría de Occidente
aprecia. China ya está por delante de Estados Unidos en energía verde, 5G e inteligencia
artificial y está en camino de superarlo en cuántica y biotecnología en los próximos años. El
primer director de software del Pentágono dimitió en protesta en 2021 porque estaba muy
consternado por la situación. “ No tenemos ninguna posibilidad de competir contra China
dentro de 15 a 20 años. En este momento, ya es un trato cerrado; En mi opinión, ya ha
terminado”, dijo al Financial Times.
Poco después de asumir la presidencia en 2013, Xi Jinping pronunció un discurso que
tuvo consecuencias duraderas para China y para el resto del mundo. “ La tecnología avanzada
es el arma afilada del Estado moderno”, afirmó. "Nuestra tecnología en general todavía está
por detrás de la de los países desarrollados y debemos adoptar una estrategia asimétrica
para alcanzar y adelantar".
Fue un análisis poderoso y, como hemos visto, una declaración de las prioridades
políticas de China. Pero a diferencia de gran parte de lo que dice Xi, cualquier líder mundial
podría expresar lo mismo de manera creíble. Cualquier presidente estadounidense o
brasileño, canciller alemán o primer ministro indio suscribiría la tesis central: que la
tecnología es un “arma afilada” que permite a los países “mantener el dominio”. Xi estaba
afirmando una pura verdad, el mantra autoproclamado de no sólo China sino prácticamente
todos los estados, desde los líderes de las superpotencias en la frontera hasta los parias
aislados: quién construye, posee y despliega tecnología es importante.

LA CARRERA ARMISTA

La tecnología se ha convertido en el activo estratégico más importante del mundo, no tanto

en el instrumento de la política exterior sino en su motor. Las grandes luchas de poder del
siglo XXI se basan en la superioridad tecnológica: una carrera para controlar la ola venidera.
Las empresas tecnológicas y las universidades ya no son vistas como neutrales sino como
importantes campeones nacionales.
La voluntad política podría perturbar o cancelar los demás incentivos analizados en este
capítulo. En teoría, un gobierno podría frenar los incentivos a la investigación, tomar
medidas drásticas contra las empresas privadas y restringir las iniciativas impulsadas por el
ego. Pero no puede hacer caso omiso de la dura competencia de sus rivales geopolíticos.
Elegir limitar el desarrollo tecnológico cuando los adversarios percibidos se acumulan es, en
la lógica de una carrera armamentista, elegir perder.
Durante mucho tiempo me opuse, resistiéndome a enmarcar el progreso tecnológico
como una carrera armamentista internacional de suma cero. En DeepMind, siempre rechacé
las referencias a nosotros como un Proyecto Manhattan para la IA, no solo por la
comparación nuclear, sino porque incluso el encuadre podría iniciar una serie de otros
Proyectos Manhattan, alimentando una dinámica de carrera armamentista cuando hay una
estrecha coordinación global. Se necesitaban puntos de quiebre y desaceleraciones. Pero la
realidad es que la lógica de los Estados-nación es a veces dolorosamente simple y, sin
embargo, absolutamente inevitable. En el contexto de la seguridad nacional de un Estado,
simplemente hacer flotar una idea se vuelve peligroso. Una vez que se pronuncian las
palabras, se da el pistoletazo de salida y la propia retórica produce una respuesta nacional
drástica. Y luego gira en espiral.
Innumerables amigos y colegas en Washington y Bruselas, en el gobierno, en los think
tanks y en el mundo académico sacarían a relucir la misma línea exasperante: “Incluso si en
realidad no estamos en una carrera armamentista, debemos asumir que 'ellos' piensan que
sí lo estamos, y por lo tanto debemos correr para lograr una ventaja estratégica decisiva ya
que esta nueva tecnología La ola podría reequilibrar completamente el poder global”. Esta
actitud se convierte en una profecía autocumplida.
No sirve de nada fingir. La competencia de las grandes potencias con China es una de las
pocas áreas que disfrutan de un acuerdo bipartidista en Washington. El debate ahora no es
si estamos en una carrera armamentista tecnológica y de inteligencia artificial; es a donde
conducirá.
La carrera armamentista suele presentarse como un duopolio chino-estadounidense.
Esto es miope. Si bien es cierto que estos países son los más avanzados y los que cuentan con
mejores recursos, muchos otros son participantes importantes. Esta nueva era de carreras
armamentistas presagia el surgimiento de un tecnonacionalismo generalizado, en el que
múltiples países se verán atrapados en una competencia cada vez mayor para obtener una
ventaja geopolítica decisiva.
Casi todos los países tienen ahora una estrategia detallada de IA. Vladimir Putin cree que
el líder en IA “se convertirá en el gobernante del mundo”. El presidente francés, Emmanuel
Macron, declara que “lucharemos para construir un metaverso europeo”. Su punto más
amplio es que Europa no ha logrado construir los gigantes tecnológicos de Estados Unidos y
China, produce menos avances y carece de propiedad intelectual y capacidad de fabricación
en partes críticas del ecosistema tecnológico. Seguridad, riqueza, prestigio: todo depende,
para Europa, en su opinión y en la de muchos otros, de convertirse en una tercera potencia.
Los países tienen diferentes fortalezas, desde la biociencia y la inteligencia artificial
(como el Reino Unido) hasta la robótica (Alemania, Japón y Corea del Sur) y la ciberseguridad
(Israel). Cada uno tiene importantes programas de I+D en partes de la próxima ola, con
florecientes ecosistemas de empresas emergentes civiles cada vez más respaldados por la
fuerza dura de la percibida necesidad militar.
India es un cuarto pilar obvio de un nuevo orden global de gigantes, junto con Estados
Unidos, China y la UE. Su población es joven y emprendedora, cada vez más urbanizada y
cada vez más conectada y conocedora de la tecnología. Para 2030, su economía habrá
superado a la de países como el Reino Unido, Alemania y Japón y será la tercera más grande
del mundo; para 2050, tendrá un valor de 30 billones de dólares.
Su gobierno está decidido a hacer realidad la tecnología india. A través de su programa
Atmanirbhar Bharat (India autosuficiente), el gobierno de la India está trabajando para
garantizar que el país más poblado del mundo logra la propiedad de sistemas tecnológicos
centrales competitivos con los Estados Unidos y China. En virtud de él, India estableció
asociaciones con, por ejemplo, Japón en inteligencia artificial y robótica, así como con Israel
para drones y vehículos aéreos no tripulados. Prepárese para una ola india.

EN LA SEGUNDA GUERRA MUNDIAL, el Proyecto Manhattan, que consumió el 0,4 por ciento del PIB
estadounidense, fue visto como una carrera contra el tiempo para conseguir la bomba antes
que los alemanes. Pero los nazis habían descartado inicialmente la búsqueda de armas
nucleares, considerándolas demasiado caras y especulativas. Los soviéticos estaban muy por
detrás y finalmente confiaron en extensas filtraciones de Estados Unidos. Estados Unidos
había llevado a cabo una carrera armamentista contra fantasmas, trayendo armas nucleares
al mundo mucho antes que en otras circunstancias.
Algo similar ocurrió a finales de la década de 1950, cuando, a raíz de una prueba de misil
balístico intercontinental soviético y del Sputnik, los responsables del Pentágono se
convencieron de una alarmante “brecha de misiles” con los rusos. Más tarde se supo que
Estados Unidos tenía una ventaja de diez a uno en el momento del informe clave. Jruschov
estaba siguiendo una estrategia soviética probada y comprobada: fanfarronear. Interpretar
mal a la otra parte significó que las armas nucleares y los misiles balísticos intercontinentales
se adelantaran décadas.
 ¿Podría estar desarrollándose esta misma dinámica errónea en las actuales carreras
armamentistas tecnológicas? En realidad no. En primer lugar, el riesgo de proliferación de la
próxima ola es grave. Debido a que estas tecnologías son cada vez más baratas y fáciles de
usar, incluso a medida que se vuelven más poderosas, más naciones pueden participar en la
frontera. Los grandes modelos lingüísticos todavía se consideran de vanguardia, pero no
tienen ninguna gran magia ni secreto de estado oculto. El acceso a la computación es
probablemente el mayor obstáculo, pero existen muchos servicios para hacerlo realidad. Lo
mismo ocurre con CRISPR o síntesis de ADN.
Ya podemos ver logros como el alunizaje de China o el sistema de identificación
biométrica de mil millones de capacidades de la India, Aadhaar, ocurriendo en tiempo real.
No es ningún misterio que China tiene enormes LLM, Taiwán es el líder en semiconductores,
Corea del Sur tiene experiencia de clase mundial en robots y los gobiernos de todo el mundo
están anunciando e implementando estrategias tecnológicas detalladas. Esto está
sucediendo abiertamente, compartido en patentes y en conferencias académicas, como
informó Wired y el Financial Times, transmitido en vivo por Bloomberg.
Declarar una carrera armamentista ya no es un acto de prestidigitación, una profecía
autocumplida. La profecía se ha cumplido. Está aquí, está sucediendo. Es un punto tan obvio
que no suele mencionarse: no existe una autoridad central que controle qué tecnologías se
desarrollan, quién lo hace y con qué propósito; La tecnología es una orquesta sin director.
Sin embargo, este hecho podría terminar siendo el más significativo del siglo XXI.
Y si la frase “carrera armamentista” genera preocupación, es con razón. Difícilmente
podría haber una base más precaria para un conjunto de tecnologías en expansión que la
percepción (y la realidad) de una competencia de suma cero basada en el miedo. Sin
embargo, hay otros impulsores de la tecnología más positivos que debemos considerar.

EL CONOCIMIENTO SOLO QUIERE SER LIBRE

La curiosidad pura, la búsqueda de la verdad, la importancia de la apertura y la revisión por

pares basada en evidencia son valores fundamentales para la investigación científica y
tecnológica. Desde la Revolución Científica y sus equivalentes industriales en los siglos XVIII
y XIX, los descubrimientos científicos no se han atesorado como joyas secretas sino que se
han compartido abiertamente en revistas, libros, salones y conferencias públicas. El sistema
de patentes creó un mecanismo para compartir conocimientos y al mismo tiempo
recompensar la asunción de riesgos. El amplio acceso a la información se convirtió en un
motor de nuestra civilización.
La apertura es la ideología cardinal de la ciencia y la tecnología. Lo que se sabe debe
compartirse; lo que se descubre debe ser publicado. La ciencia y la tecnología viven y
respiran del debate libre y del intercambio abierto de información, hasta el punto de que la
apertura misma se ha convertido en un incentivo poderoso (y sorprendentemente
beneficioso).
Vivimos en una era de lo que Audrey Kurth Cronin llama “innovación tecnológica
abierta”. Un sistema global de desarrollo de conocimiento y tecnología es ahora tan extenso
y abierto que es casi imposible dirigirlo, gobernarlo o, si es necesario, cerrarlo. Como
resultado, la capacidad de comprender, crear, aprovechar y adaptar la tecnología está muy
distribuida. Un trabajo oscuro realizado por un estudiante de posgrado en informática un
año podría estar en manos de cientos de millones de usuarios al siguiente. Eso hace que sea
difícil de predecir o controlar. Claro, las empresas tecnológicas quieren mantener sus
secretos, pero también tienden a respetar las filosofías abiertas que caracterizan el
desarrollo de software y la academia. Como resultado, las innovaciones se difunden mucho
más rápido, más lejos y de manera más disruptiva.
El imperativo de apertura satura la cultura de la investigación. La academia se basa en
la revisión por pares; cualquier artículo que no esté sujeto a un escrutinio crítico por parte
de pares creíbles no cumple con el estándar de oro. A los financiadores no les gusta apoyar
trabajos que permanecen bloqueados. Tanto las instituciones como los investigadores
prestan especial atención a sus registros de publicaciones y a la frecuencia con la que se citan
sus artículos. Más citas significan más prestigio, credibilidad y financiación para la
investigación. Los investigadores jóvenes son especialmente propensos a ser juzgados (y
contratados) por su registro de publicaciones, visible públicamente en plataformas como
Google Scholar. Además, hoy en día los artículos se anuncian en Twitter y, a menudo, se
escriben teniendo en mente la influencia de las redes sociales. Están diseñados para ser
llamativos y llamar la atención.
Los académicos abogan fervientemente por el acceso abierto a sus investigaciones. En
tecnología, normas sólidas en torno a compartir y contribuir respaldan un espacio
floreciente de software de código abierto. Algunas de las empresas más grandes del mundo
(Alphabet, Meta, Microsoft) aportan periódicamente enormes cantidades de propiedad
intelectual de forma gratuita. En áreas como la IA y la biología sintética, donde las líneas
entre la investigación científica y el desarrollo tecnológico son especialmente borrosas, todo
esto hace que la cultura sea abierta por defecto.
En DeepMind aprendimos desde el principio que las oportunidades de publicar eran un
factor clave a la hora de que los principales investigadores decidieran dónde trabajar.
Querían la apertura y el reconocimiento de sus pares a los que se habían acostumbrado en el
mundo académico. Pronto se convirtió en estándar en los principales laboratorios de IA: si
bien no todo se haría público de inmediato, la apertura se consideraba una ventaja
estratégica para atraer a los mejores científicos. Mientras tanto, los registros de
publicaciones son una parte importante para ser contratado en los principales laboratorios
de tecnología, mientras que la competencia es intensa, una carrera por quién sale a bolsa
primero.
En definitiva, en un grado tal vez subestimado, la publicación y el intercambio no tienen
que ver únicamente con el proceso de falsificación en la ciencia. También lo son por el
prestigio, por los compañeros, por el cumplimiento de una misión, por el bien de un trabajo,
por los gustos. Todo ello impulsa y acelera el proceso de desarrollo tecnológico.
Grandes cantidades de datos y códigos de IA son públicos. Por ejemplo, GitHub tiene 190
millones de repositorios de código, muchos de los cuales son públicos. Los servidores de
preimpresión académica permiten a los investigadores cargar trabajos rápidamente sin
ningún mecanismo de revisión o filtración. El servicio original de este tipo, arXiv, alberga
más de dos millones de artículos. Docenas de servicios de preimpresión más especializados,
como bioRxiv en las ciencias biológicas, impulsan el proceso. Se puede acceder al gran acervo
de artículos científicos y técnicos del mundo en la web abierta o a través de inicios de sesión
institucionales fáciles de obtener. Esto encaja en un mundo donde la financiación y la
colaboración transfronterizas son la norma; donde los proyectos suelen contar con cientos
de investigadores que comparten información libremente; donde miles de tutoriales y cursos
sobre técnicas de última generación están disponibles en línea.
Todo esto tiene lugar en el contexto de un panorama de investigación turboalimentado.
El gasto mundial en I+D supera con creces los 700.000 millones de dólares al año, alcanzando
niveles récord. Sólo el presupuesto de I+D de Amazon es de 78.000 millones de dólares, lo
que sería el noveno mayor del mundo si fuera un país. Alphabet, Apple, Huawei, Meta y
Microsoft gastan mucho más de 20 mil millones de dólares al año en I+D. Todas estas
empresas, las que más invierten en la próxima ola, las que tienen los presupuestos más
generosos, tienen un historial de publicar abiertamente sus investigaciones.
El futuro es notablemente de código abierto, publicado en arXiv y documentado en
GitHub. Se está construyendo para obtener citas, elogios de investigación y la promesa de
permanencia. Tanto el imperativo de apertura como la enorme masa de material de
investigación fácilmente disponible significan que se trata de un conjunto de incentivos y
bases inherentemente profundamente arraigados y ampliamente distribuidos para futuras
investigaciones que nadie puede gobernar por completo.

PREDECIR CUALQUIER COSA EN LA frontera es complicado. Si desea dirigir el proceso de

investigación, orientarlo hacia o alejándolo de ciertos resultados, contenerlo antes de
tiempo, enfrenta múltiples desafíos. No sólo está la cuestión de cómo coordinarse entre
grupos en competencia, sino que en la frontera también es imposible predecir de dónde
podrían surgir los avances.
La tecnología de edición de genes CRISPR, por ejemplo, tiene sus raíces en el trabajo
realizado por el investigador español Francisco Mojica, que quería comprender cómo
algunos organismos unicelulares prosperan en aguas salobres. Mojica pronto tropezó con
secuencias repetidas de ADN que serían una parte clave de CRISPR. Estas secciones repetidas
agrupadas parecían importante. Se le ocurrió el nombre CRISPR. Un trabajo posterior de dos
investigadores de una empresa danesa de yogur analizó la protección de las bacterias vitales
para los cultivos iniciadores en el proceso de fermentación del yogur. Ayudó a mostrar cómo
podrían funcionar los mecanismos centrales. Estas improbables vías son la base de lo que
podría decirse que es la mayor historia biotecnológica del siglo XXI.
Del mismo modo, los campos pueden estancarse durante décadas pero luego cambiar
drásticamente en meses. Las redes neuronales pasaron décadas en la naturaleza,
destrozadas por luminarias como Marvin Minsky. Sólo unos pocos investigadores aislados
como Geoffrey Hinton y Yann LeCun los mantuvieron durante un período en el que la palabra
"neural" era tan controvertida que los investigadores la eliminaban deliberadamente de sus
artículos. Parecía imposible en la década de 1990, pero las redes neuronales llegaron a
dominar la IA. Y, sin embargo, también fue LeCun quien dijo que AlphaGo era imposible
apenas unos días antes de que lograra su primer gran avance. Eso no es un descrédito para
él; simplemente demuestra que nadie puede estar seguro de nada en la frontera de la
investigación.
 Incluso en el hardware, el camino hacia la IA era imposible de predecir. Las GPU
(unidades de procesamiento de gráficos) son una parte fundamental de la IA moderna. Pero
primero se desarrollaron para ofrecer gráficos cada vez más realistas en los juegos de
computadora. En un ejemplo de la naturaleza omniuso de la tecnología, el rápido
procesamiento paralelo de gráficos llamativos resultó ser perfecto para entrenar redes
neuronales profundas. En última instancia, es una suerte que la demanda de juegos
fotorrealistas significara que empresas como NVIDIA invirtieran tanto en fabricar mejor
hardware y que esto luego se adaptara tan bien al aprendizaje automático. ( NVIDIA no se
quejaba; el precio de sus acciones aumentó un 1.000 por ciento en los cinco años posteriores
a AlexNet).
Si hubiera querido monitorear y dirigir la investigación de la IA en el pasado,
probablemente se habría equivocado, bloqueando o impulsando trabajos que eventualmente
resultaron irrelevantes, pasando por alto por completo los avances más importantes que se
gestaban silenciosamente al margen. La investigación en ciencia y tecnología es
inherentemente impredecible, excepcionalmente abierta y crece rápidamente. Por lo tanto,
gobernarlo o controlarlo es inmensamente difícil.
El mundo actual está optimizado para la curiosidad, el intercambio y la investigación a
un ritmo nunca antes visto. La investigación moderna va en contra de la contención. También
lo hacen la necesidad y el deseo de obtener ganancias.

LA
OPORTUNIDAD DE $100 TRILLONES

En 1830 se inauguró el primer ferrocarril de pasajeros entre Liverpool y Manchester. La

construcción de esta maravilla de la ingeniería requirió una ley del Parlamento. La ruta
necesitaba puentes, atajos, tramos elevados sobre terreno pantanoso y la solución de
disputas de propiedad aparentemente interminables: todos desafíos titánicos. A la
inauguración del ferrocarril asistieron dignatarios, entre ellos el primer ministro y el
diputado de Liverpool, William Huskisson. Durante la celebración la multitud se situó en las
vías para recibir a la nueva maravilla que se acercaba. Esta sorprendente máquina era tan
desconocida que la gente no supo apreciar la velocidad del tren que se aproximaba, y el
propio Huskisson murió bajo las ruedas de la locomotora. Para los horrorizados
espectadores, el Rocket de George Stephenson, propulsado por vapor, era monstruoso, una
extraña, eructante y aterradora mezcla de modernidad y maquinaria.
Sin embargo, también fue una sensación, más rápida que cualquier cosa experimentada
entonces. El crecimiento fue rápido. Se habían previsto doscientos cincuenta pasajeros
diarios; mil doscientos al día lo estaban usando después de sólo un mes. Se podrían
transportar cientos de toneladas de algodón desde los muelles de Liverpool a las fábricas de
Manchester con el mínimo esfuerzo y en un tiempo récord. Cinco años después, estaba
generando un dividendo del 10 por ciento, presagiando un mini auge en la construcción de
ferrocarriles en la década de 1830. El gobierno vio una oportunidad para hacer más. En 1844,
un joven diputado llamado William Gladstone propuso la Ley de Regulación Ferroviaria para
potenciar la inversión. En 1845, las empresas presentaron cientos de solicitudes para
construir nuevos ferrocarriles en tan solo unos meses. Mientras que el resto del mercado de
valores se estancó, las empresas ferroviarias prosperaron. Los inversores se sumaron. En su
apogeo, las acciones ferroviarias representaron más de dos tercios del valor total del
mercado de valores.
Al cabo de un año, la crisis había comenzado. El mercado finalmente tocó fondo en 1850,
un 66 por ciento menos que su punto máximo. Las ganancias fáciles, ni por primera ni por
última vez, habían vuelto a la gente codiciosa y tonta. Miles lo perdieron todo. Sin embargo,
con el boom había llegado una nueva era. Con la locomotora, un mundo más antiguo y
bucólico fue destrozado en un bombardeo de viaductos y túneles, cortes y grandes
estaciones, humo de carbón y silbatos. A partir de unas pocas líneas dispersas, la locura por
las inversiones creó las líneas generales de una red nacional integrada. Encogió el país. En la
década de 1830, un viaje entre Londres y Edimburgo duraba días en una incómoda diligencia.
En la década de 1850, un solo tren tardaba menos de doce horas. La conexión con el resto
del país significó un auge de pueblos, ciudades y regiones. El turismo, el comercio y la vida
familiar se transformaron. Entre muchos otros impactos, creó la necesidad de una hora
nacional estandarizada para dar sentido a los horarios. Y todo esto se hizo gracias a una
incesante sed de ganancias.

EL AUGE FERROVIARIO DE la década de 1840 fue “posiblemente la mayor burbuja de la historia”.

Pero en los anales de la tecnología, es más una norma que una excepción. No había nada
inevitable en la llegada de los ferrocarriles, pero sí algo inevitable en la posibilidad de ganar
dinero. Carlota Pérez considera que una “fase de frenesí” equivalente forma parte de cada
lanzamiento tecnológico importante durante al menos los últimos doscientos años, desde los
cables telefónicos originales hasta la Internet contemporánea de gran ancho de banda. El
auge nunca dura, pero el crudo impulso especulativo produce un cambio duradero, un nuevo
sustrato tecnológico.
La verdad es que la curiosidad de los investigadores académicos o la voluntad de
gobiernos motivados son insuficientes para impulsar nuevos avances a manos de miles de
millones de consumidores. La ciencia tiene que convertirse en productos útiles y deseables
para que realmente se difunda por todas partes. En pocas palabras: la mayor parte de la
tecnología está hecha para ganar dinero.
En todo caso, este es quizás el incentivo más persistente, arraigado y disperso de todos.
Las ganancias impulsan al empresario chino a desarrollar molduras para un teléfono
radicalmente rediseñado; empuja al agricultor holandés a encontrar nueva robótica y
tecnologías de invernadero para cultivar tomates durante todo el año en el clima fresco del
Mar del Norte; lleva a inversores afables en Sand Hill Road de Palo Alto a invertir millones
de dólares en jóvenes empresarios no probados. Si bien las motivaciones de sus
contribuyentes individuales pueden variar, Google está desarrollando inteligencia artificial
y Amazon está construyendo robots, porque, como empresas públicas con accionistas a
quienes complacer, los ven como formas de obtener ganancias.
Y esto, el potencial de ganancias, se basa en algo aún más duradero y sólido: la demanda
bruta. La gente quiere y necesita los frutos de la tecnología. La gente necesita alimentos,
refrigeración o telecomunicaciones para vivir sus vidas; podrían querer unidades de aire
acondicionado, o un nuevo tipo de diseño de calzado que requiera alguna técnica de
fabricación nueva e intrincada, o algún tipo de método nuevo y revolucionario para colorear
alimentos para pastelitos, o cualquiera de los innumerables fines cotidianos para los que se
utiliza la tecnología. De cualquier manera, la tecnología ayuda a proporcionar y sus creadores
se quedan con su parte. La enorme amplitud de los deseos y necesidades humanos, y las
innumerables oportunidades para sacar provecho de ellos, son parte integral de la historia
de la tecnología y lo seguirán siendo en el futuro.
Esto no es malo. Si retrocedemos unos cientos de años, el crecimiento económico era
casi inexistente. Los niveles de vida se estancaron durante siglos en niveles insondablemente
peores que los actuales. En los últimos doscientos años, la producción económica se ha
multiplicado por más de trescientas. El PIB per cápita se ha multiplicado al menos por trece
durante el mismo período, y en las partes más ricas del mundo se ha multiplicado por cien.
A principios del siglo XIX casi todo el mundo vivía en la extrema pobreza. Ahora, a nivel
mundial, esta cifra se sitúa en torno al 9 por ciento. Las mejoras exponenciales en la
condición humana, antes imposibles, son rutinarias.
En el fondo, se trata de una historia de aplicación sistemática de la ciencia y la tecnología
en nombre del beneficio. Esto, a su vez, impulsó enormes saltos en la producción y los niveles
de vida. En el siglo XIX, inventos como la trilladora de Cyrus McCormick provocaron un
aumento del 500 por ciento en la producción de trigo por hora. La máquina de coser de Isaac
Singer hizo que coser una camisa pasara de catorce horas a sólo una hora. En las economías
desarrolladas, la gente trabaja mucho menos que antes para obtener una recompensa mucho
mayor. En Alemania, por ejemplo, las horas de trabajo anuales han disminuido casi un 60 por
ciento desde 1870.
La tecnología entró en un círculo virtuoso de creación de riqueza que podía reinvertirse
en mayor desarrollo tecnológico, todo lo cual elevó los niveles de vida. Pero ninguna de estas
metas a largo plazo era realmente el objetivo principal de ningún individuo. En el capítulo 1,
sostuve que casi todo lo que te rodea es producto de la inteligencia humana. He aquí una
ligera corrección: gran parte de lo que vemos a nuestro alrededor está impulsado por la
inteligencia humana en busca directa de ganancias monetarias.
Este motor ha creado una economía mundial valorada en 85 billones de dólares, y sigue
aumentando. Desde los pioneros de la Revolución Industrial hasta los empresarios actuales
de Silicon Valley, la tecnología tiene un incentivo magnético en en forma de importantes
recompensas financieras. La próxima ola representa el mayor premio económico de la
historia. Es un cuerno de la abundancia para el consumidor y un centro potencial de
ganancias sin paralelo. Cualquiera que busque contenerlo debe explicar cómo se puede
persuadir a un sistema capitalista distribuido, global y de poder desenfrenado para que
modere su aceleración, y mucho menos lo deje sobre la mesa.

CUANDO UNA CORPORACIÓN AUTOMATIZA las reclamaciones de seguros o adopta una nueva técnica
de fabricación, genera ahorros de eficiencia o mejora el producto, aumentando las ganancias
y atrayendo nuevos clientes. Una vez que una innovación ofrece una ventaja competitiva
como ésta, todos deben adoptarla, saltarla, cambiar de enfoque o perder participación de
mercado y eventualmente quebrar. La actitud en torno a esta dinámica en las empresas
tecnológicas en particular es simple y despiadada: construir la próxima generación de
tecnología o ser destruido.
No sorprende, entonces, que las corporaciones desempeñen un papel tan importante en
la próxima ola. La tecnología es, con diferencia, la categoría más importante del S&P 500 y
constituye el 26 por ciento del índice. Entre ellos, los principales grupos tecnológicos tienen
efectivo disponible equivalente al PIB de una economía como la de Taiwán o Polonia. El gasto
de capital, al igual que el gasto en I+D, es enorme y supera a las grandes petroleras, que antes
eran las que más gastaban. Cualquiera que siga la industria últimamente habrá sido testigo
de una carrera comercial cada vez más intensa en torno a la IA, con empresas como Google,
Microsoft y OpenAI compitiendo semana tras semana para lanzar nuevos productos.
Cientos de miles de millones de dólares de capital de riesgo y capital privado se invierten
en innumerables empresas emergentes. Sólo la inversión en tecnologías de IA ha alcanzado
los 100.000 millones de dólares al año. Estos grandes números realmente importan.
Enormes cantidades de gasto de capital, gasto en I+D, capital de riesgo e inversión de capital
privado, incomparables con cualquier otro sector o gobierno fuera de China y Estados
Unidos, son el combustible crudo que impulsa la ola venidera. Todo este dinero exige un
retorno, y la tecnología que crea es el medio para obtenerlo.
Al igual que con la Revolución Industrial, las recompensas económicas potenciales son
enormes. Las estimaciones son difíciles de intuir. PwC pronostica que la IA agregará 15,7
billones de dólares a la economía global para 2030. McKinsey pronostica un impulso de 4
billones de dólares proveniente de la biotecnología durante el mismo período. Impulsando
el robot mundial instalaciones un 30 por ciento por encima de un pronóstico de referencia
podrían generar un dividendo de 5 billones de dólares, una suma mayor que toda la
producción de Alemania. Estos son incentivos fuertes, especialmente cuando otras fuentes
de crecimiento son cada vez más escasas. Con ganancias tan altas, es probable que
interrumpir la fiebre del oro sea increíblemente desafiante.
¿Están justificadas estas predicciones? Las cifras son ciertamente deslumbrantes. Sacar
grandes cantidades del futuro cercano es fácil de hacer en papel. Pero en un período de
tiempo ligeramente más largo, no son del todo irrazonables. El mercado total al que se puede
dirigir aquí eventualmente se extiende, como la Primera o Segunda Revolución Industrial, a
toda la economía mundial. Alguien a finales del siglo XVIII se habría mostrado incrédulo ante
la idea de multiplicar por cien el PIB per cápita. Habría parecido ridículo siquiera pensarlo.
Sin embargo, sucedió. Teniendo en cuenta todos esos pronósticos y las áreas fundamentales
que abordará la próxima ola, incluso un impulso de entre el 10 y el 15 por ciento de la
economía mundial en la próxima década podría ser conservador. A largo plazo, es probable
que sea mucho mayor que eso.
Consideremos que la economía mundial se sextuplicó en la segunda mitad del siglo XX.
Incluso si el crecimiento se desacelerara a sólo un tercio de ese nivel en los próximos
cincuenta años, todavía desbloquearía alrededor de 100 billones de dólares de PIB adicional.
Pensemos en el impacto de la nueva ola de sistemas de IA. Los modelos de lenguaje
grandes le permiten tener una conversación útil con una IA sobre cualquier tema en un
lenguaje natural y fluido. En los próximos dos años, sea cual sea su trabajo, podrá consultar
a un experto bajo demanda, preguntarle sobre su última campaña publicitaria o diseño de
producto, interrogarlo sobre los detalles de un dilema legal, aislar los elementos más
efectivos de una propuesta, resolver una cuestión logística espinosa, obtener una segunda
opinión sobre un diagnóstico, seguir investigando y probando, obteniendo respuestas cada
vez más detalladas basadas en el conocimiento más vanguardista, entregadas con matices
excepcionales. Todo el conocimiento, las mejores prácticas, los precedentes y el poder
computacional del mundo estarán disponibles, adaptados a usted, a sus necesidades y
circunstancias específicas, de manera instantánea y sin esfuerzo. Es un salto en el potencial
cognitivo al menos tan grande como la introducción de Internet. Y eso es incluso antes de
entrar en las implicaciones de algo como ACI y la prueba de Turing moderna.
En última instancia, poco es más valioso que la inteligencia. La inteligencia es la fuente y
el director, arquitecto y facilitador de la economía mundial. Cuanto más ampliemos la gama
y la naturaleza de las inteligencias que se ofrecen, más crecimiento debería ser posible. Con
la IA generalista, los escenarios económicos plausibles sugieren que podría conducir no sólo
a un impulso del crecimiento sino a una aceleración permanente de la tasa de crecimiento
misma. En términos económicos claros, la IA podría ser, a largo plazo, la tecnología más
valiosa hasta el momento, más aún si se combina con el potencial de la biología sintética, la
robótica y el resto.
Esas inversiones no son pasivas; ellos desempeñarán un papel importante para que así
sea, otra profecía autocumplida. Esos billones representan un enorme valor agregado y una
oportunidad para la sociedad, ya que brindan mejores niveles de vida para miles de millones,
así como inmensas ganancias para los intereses privados. De cualquier manera, eso crea un
incentivo arraigado para seguir encontrando e implementando nuevas tecnologías.

DESAFÍOS GLOBALES

Durante la mayor parte de la historia, simplemente alimentarse a sí mismo y a su familia fue

el desafío dominante de la vida humana. La agricultura siempre ha sido un negocio difícil e
incierto. Pero, especialmente antes de las mejoras del siglo XX, era mucho, mucho más difícil.
Cualquier variación en las condiciones climáticas (demasiado frío, caluroso, seco o húmedo)
podría ser catastrófica. Casi todo se hizo a mano, quizás con la ayuda de algunos bueyes si
había suerte. En algunas épocas del año había poco que hacer; en otros, hubo semanas de
trabajo físico incesante y agotador.
Las cosechas podrían arruinarse a causa de enfermedades o plagas, estropearse después
de la cosecha o ser robadas por ejércitos invasores. La mayoría de los agricultores vivían al
día, a menudo trabajando como siervos y renunciando a gran parte de su escasa cosecha.
Incluso en las zonas más productivas del mundo, los rendimientos fueron bajos y frágiles. La
vida era dura, vivía al borde del desastre. Cuando Thomas Malthus argumentó en 1798 que
una población en rápido crecimiento agotaría rápidamente la capacidad de carga de la
agricultura y conduciría al colapso, no estaba equivocado; los rendimientos estáticos
seguirían y a menudo seguían esta regla.
Lo que no había tenido en cuenta era la escala del ingenio humano. Suponiendo
condiciones climáticas favorables y utilizando las últimas técnicas, en el siglo XIII cada
hectárea de trigo en Inglaterra producía alrededor de media tonelada. Allí permaneció
durante siglos. Poco a poco, la llegada de nuevas técnicas y tecnologías cambió todo eso:
desde la rotación de cultivos hasta la cría selectiva, arados mecanizados, fertilizantes
sintéticos, pesticidas, modificaciones genéticas y ahora incluso plantación y deshierbe
optimizados por IA. En el siglo XXI, los rendimientos son ahora de unas ocho toneladas por
hectárea. La misma pequeña e inocua porción de terreno, la misma geografía y el mismo
suelo que se cosechaba en el siglo XIII, ahora puede producir dieciséis veces más cosecha.
Los rendimientos de maíz por hectárea en Estados Unidos se han triplicado en los últimos
cincuenta años. La mano de obra necesaria para producir un kilo de grano ha disminuido un
98 por ciento desde principios del siglo XIX.
En 1945, alrededor del 50 por ciento de la población mundial estaba gravemente
desnutrida. Hoy en día, a pesar de una población tres veces mayor, esa cifra se ha reducido
al 10 por ciento. Esto todavía representa más de 600 millones de personas, una cifra
desmesurada. Pero a los valores de 1945 serían 4.000 millones, aunque en realidad esa gente
no habría podido mantenerse con vida. Es fácil pasar por alto lo lejos que hemos llegado y lo
notable que es realmente la innovación. ¿Qué habría dado el granjero medieval por las
enormes cosechadoras, los épicos sistemas de riego de un granjero moderno? Para ellos, una
mejora dieciséis veces sería nada menos que un milagro. Es.
Alimentar al mundo sigue siendo un enorme desafío. Pero esta necesidad ha impulsado
la tecnología y ha dado lugar a una abundancia inimaginable en épocas anteriores: alimentos
suficientes, si no distribuidos adecuadamente, para los ocho mil millones y cada vez más
habitantes del planeta.
La tecnología, como en el caso del suministro de alimentos, es una parte vital para
abordar los desafíos que la humanidad inevitablemente enfrenta hoy y enfrentará mañana.
Buscamos nuevas tecnologías, incluidas las de la próxima ola, no sólo porque las queremos,
sino porque, en un nivel fundamental, las necesitamos .

ES PROBABLE QUE EL mundo se encamine hacia dos grados centígrados de calentamiento

climático o más. Cada segundo de cada día se traspasan los límites de la biosfera, desde el
uso de agua dulce hasta la pérdida de biodiversidad. Incluso los países más resilientes,
templados y ricos sufrirán olas de calor y sequías desastrosas, tormentas y escasez de agua
en las próximas décadas. Las cosechas fracasarán. Los incendios forestales arrasan. Grandes
cantidades de metano escaparán del permafrost que se está derritiendo, amenazando con un
ciclo de retroalimentación de calentamiento extremo. La enfermedad se propagará mucho
más allá de sus rangos habituales. Los refugiados climáticos y los conflictos envolverán al
mundo a medida que el nivel del mar aumente inexorablemente, amenazando a los
principales centros de población. Los ecosistemas marinos y terrestres se enfrentan al
colapso.
A pesar de los discursos bien justificados sobre una transición hacia una energía limpia,
el camino que aún queda por recorrer es enorme. La densidad energética de los
hidrocarburos es increíblemente difícil de replicar para tareas como propulsar aviones o
buques portacontenedores. Si bien la generación de electricidad limpia se está expandiendo
rápidamente, la electricidad representa sólo alrededor del 25 por ciento de la producción
energética mundial. La transición del otro 75 por ciento es mucho más complicada. Desde el
comienzo del siglo XXI, el uso global de energía ha aumentado un 45 por ciento, pero la
proporción proveniente de combustibles fósiles sólo cayó del 87 al 84 por ciento, lo que
significa que el uso de combustibles fósiles ha aumentado considerablemente a pesar de
todos los movimientos hacia la electricidad limpia como fuente de energía. .
El estudioso de la energía Vaclav Smil llama al amoníaco, el cemento, los plásticos y el
acero los cuatro pilares de la civilización moderna: la base material que sustenta la sociedad
moderna, cada uno de los cuales produce un enorme uso intensivo de carbono, sin sucesores
obvios. Sin estos materiales la vida moderna se detiene, y sin combustibles fósiles los
materiales se detienen. En los últimos treinta años se han vertido 700 mil millones de
toneladas de hormigón que arrojan carbono a nuestras sociedades. ¿Cómo reemplazar eso?
Es posible que los vehículos eléctricos no emitan carbono cuando se conducen, pero aun así
consumen muchos recursos: los materiales para un solo vehículo eléctrico requieren extraer
alrededor de 225 toneladas de materias primas finitas, cuya demanda ya está aumentando
de manera insostenible.
La producción de alimentos, como hemos visto, es una de las principales historias de
éxito de la tecnología. Pero desde los tractores en los campos hasta los fertilizantes sintéticos
y los invernaderos de plástico, está saturado de combustibles fósiles. Imagínese el tomate
medio remojado en cinco cucharadas de aceite. Eso es lo que se invirtió en cultivarlo. Es más,
para satisfacer la demanda mundial, la agricultura necesitará producir casi un 50 por ciento
más de alimentos para 2050, justo cuando los rendimientos disminuyen ante el cambio
climático.
Si queremos tener alguna posibilidad de mantener el calentamiento global por debajo
de los dos grados Celsius, entonces los científicos del mundo que trabajan bajo el Panel
Intergubernamental sobre Cambio Climático de la ONU han sido claros: el carbono La
captura y el almacenamiento es una tecnología esencial. Y, sin embargo, en gran medida no
se ha inventado o aún no se ha implementado a escala. Para enfrentar este desafío global,
tendremos que rediseñar nuestros sistemas agrícolas, manufactureros, de transporte y
energéticos desde cero con nuevas tecnologías que sean neutras en carbono o
probablemente incluso negativas en carbono. Éstas no son tareas insignificantes. En la
práctica, significa reconstruir toda la infraestructura de la sociedad moderna y, con suerte,
también ofrecer mejoras en la calidad de vida de miles de millones de personas.
La humanidad no tiene más remedio que enfrentar desafíos como estos y muchos otros,
como cómo brindar atención médica cada vez más costosa a poblaciones que envejecen y
padecen enfermedades crónicas intratables. He aquí, entonces, otro poderoso incentivo: una
parte vital de cómo prosperamos frente a tareas de enormes proporciones que parecen
superarnos. Hay argumentos morales sólidos a favor de las nuevas tecnologías más allá del
beneficio o la ventaja.
La tecnología puede y mejorará vidas y resolverá problemas. Pensemos en un mundo
poblado por árboles que viven más tiempo y absorben cantidades mucho mayores de CO 2 .
O fitoplancton que ayuda a que los océanos se conviertan en un sumidero de carbono mayor
y más sostenible. La IA ha ayudado a diseñar una enzima que puede descomponer el plástico
que obstruye nuestros océanos. También será una parte importante de cómo predecimos lo
que se avecina, desde adivinar dónde podría afectar un incendio forestal a los suburbios
hasta rastrear la deforestación a través de conjuntos de datos públicos. Éste será un mundo
de medicamentos baratos y personalizados; diagnósticos rápidos y precisos; y reemplazos
generados por IA para fertilizantes que consumen mucha energía.
Las baterías sostenibles y escalables necesitan nuevas tecnologías radicales. Las
computadoras cuánticas combinadas con IA, con su capacidad de modelar hasta el nivel
molecular, podrían desempeñar un papel fundamental en la búsqueda de sustitutos de las
baterías de litio convencionales que sean más livianos, más baratos, más limpios, más fáciles
de producir y reciclar, y más abundantes. Lo mismo ocurre con el trabajo con materiales
fotovoltaicos, o el descubrimiento de fármacos, que permiten simulaciones a nivel molecular
para identificar nuevos compuestos, mucho más precisos y potentes que utilizar las lentas
técnicas experimentales del pasado. Se trata de una hiperevolución en acción que promete
ahorrar miles de millones en I+D y, al mismo tiempo, ir mucho más allá del paradigma de
investigación actual.
Una escuela de tecnosolucionismo ingenuo ve la tecnología como la respuesta a todos
los problemas del mundo. Solo, no lo es. Cómo se crea, se utiliza propiedad y gestión marcan
la diferencia. Nadie debería pretender que la tecnología sea una respuesta casi mágica a algo
tan multifacético e inmenso como el cambio climático. Pero la idea de que podemos afrontar
los desafíos decisivos del siglo sin nuevas tecnologías es completamente fantasiosa. También
vale la pena recordar que las tecnologías de la ola harán la vida más fácil, más saludable, más
productiva y más placentera para miles de millones de personas. Ahorrarán tiempo, costes,
molestias y millones de vidas. La importancia de esto no debe trivializarse ni olvidarse en
medio de la incertidumbre.
La próxima ola llega en parte porque no hay forma de superarla sin ella. Fuerzas
sistémicas a megaescala como ésta impulsan la tecnología. Pero en mi experiencia hay otra
fuerza más personal siempre presente y en gran medida subestimada: el ego.

EGO

Los científicos y tecnólogos son demasiado humanos. Anhelan estatus, éxito y un legado.
Quieren ser los primeros y mejores y ser reconocidos como tales. Son competitivos e
inteligentes y tienen un sentido cuidadosamente cultivado de su lugar en el mundo y en la
historia. Les encanta traspasar los límites, a veces por dinero, pero a menudo por gloria, a
veces simplemente por sí mismo. Los científicos e ingenieros de IA se encuentran entre las
personas mejor pagadas del mundo y, sin embargo, lo que realmente los saca de la cama es
la perspectiva de ser los primeros en lograr un gran avance o de ver su nombre en un artículo
histórico. Los ames o los odies, los magnates y empresarios de la tecnología son vistos como
estrellas polares únicas de poder, riqueza, visión y pura voluntad. Tanto los críticos como los
fanáticos aduladores los ven como expresiones de ego, sobresaliendo en hacer que las cosas
sucedan.
Los ingenieros suelen tener una mentalidad particular. El director de Los Álamos, J.
Robert Oppenheimer, era un hombre de principios. Pero, por encima de todo, era un
solucionador de problemas impulsado por la curiosidad. Consideremos estas palabras, a su
manera tan escalofriantes como su famosa cita del Bhagavad Gita (al ver la primera prueba
nuclear, recordó algunas líneas de las escrituras hindúes: “Ahora me he convertido en la
Muerte, la destructora de mundos”): “ Cuando ves algo que es técnicamente dulce, sigues
adelante y lo haces, y discutes sobre qué hacer al respecto sólo después de haber tenido tu
Éxito técnico”. Era una actitud compartida por su colega en el Proyecto Manhattan, el
brillante y polimático estadounidense húngaro John von Neumann. “ Lo que estamos creando
ahora”, dijo, “es un monstruo cuya influencia va a cambiar la historia, siempre que quede
algo de historia, pero sería imposible no llevarlo a cabo, no sólo por razones militares, sino
que también Desde el punto de vista de los científicos, no sería ético no hacer lo que saben
que es factible, sin importar las terribles consecuencias que pueda tener”.
Pase suficiente tiempo en entornos técnicos y, a pesar de todo lo que se habla sobre ética
y responsabilidad social, llegará a reconocer la prevalencia de esta visión, incluso cuando se
enfrente a tecnologías de extrema potencia. Lo he visto muchas veces y probablemente
mentiría si dijera que yo también he sucumbido a él en alguna ocasión.
Hacer historia, hacer algo que importe, ayudar a otros, vencer a otros, impresionar a un
socio potencial, impresionar a un jefe, a compañeros, a rivales: todo está ahí, todo es parte
del impulso siempre presente de tomar riesgos, explorar los límites, llegar más lejos. hacia
lo desconocido. Construye algo nuevo. Cambia el juego. Escalar la montaña.
Ya sea noble y altruista o amargo y de suma cero, cuando se trabaja en tecnología, a
menudo es este aspecto, incluso más que las necesidades de los estados o los imperativos de
accionistas distantes, el que anima el progreso. Encuentre un científico o tecnólogo exitoso y
en algún lugar de allí verá a alguien impulsado por un ego puro, impulsado por impulsos
emotivos que pueden parecer viles o incluso poco éticos, pero que, sin embargo, son una
parte poco reconocida de por qué obtenemos las tecnologías que obtenemos. El mito de
Silicon Valley del heroico fundador de una startup que construye por sí solo un imperio
frente a un mundo hostil e ignorante es persistente por una razón. Es la autoimagen a la que
los tecnólogos todavía aspiran con demasiada frecuencia, un arquetipo a emular, una
fantasía que todavía impulsa las nuevas tecnologías.

EL NACIONALISMO, EL CAPITALISMO Y LA CIENCIA son, a estas alturas, características arraigadas del

mundo. Simplemente eliminarlos de la escena no es posible en ningún período de tiempo
significativo. El altruismo y la curiosidad, la arrogancia y la competencia, el deseo de ganar
la carrera, hacerse un nombre, salvar a su pueblo, ayudar al mundo, sea lo que sea: estos son
los que impulsan la ola y no pueden ser eliminados ni eludidos.
Además, estos diferentes incentivos y elementos de la ola se combinan. Las carreras
armamentistas nacionales encajan con las rivalidades corporativas, mientras que los
laboratorios y los investigadores se estimulan mutuamente. En otras palabras, una serie
anidada de subrazas se suma a una dinámica compleja que se refuerza mutuamente. La
tecnología “surge” a través de innumerables contribuciones independientes, todas
superpuestas, una maraña de ideas enredadas y en metástasis que se desenmarañan,
impulsadas por incentivos profundamente arraigados y dispersos.
Sin herramientas para difundir información a la velocidad de la luz, en el pasado la gente
podía sentarse felizmente con las nuevas tecnologías mirándolas a la cara, a veces durante
décadas, antes de darse cuenta de todas sus implicaciones. E incluso cuando lo hicieran, haría
falta mucho tiempo y, en última instancia, imaginación para comprender plenamente las
amplias ramificaciones. Hoy el mundo observa cómo todos los demás reaccionan en tiempo
real.
Todo gotea. Todo se copia, se repite, se mejora. Y como todos observan y aprenden de
los demás, con tanta gente trabajando en las mismas áreas, alguien inevitablemente
descubrirá el próximo gran avance. Y no tendrán esperanzas de contenerlo, porque incluso
si lo hicieran, alguien más vendrá detrás de ellos y descubrirá la misma idea o encontrará
una manera adyacente de hacer lo mismo; verán el potencial estratégico, las ganancias o el
prestigio y lo perseguirán.
Por eso no diremos que no. Por eso llega la ola que se avecina, por eso contenerla es un
desafío tan grande. La tecnología es ahora un megasistema indispensable que impregna
todos los aspectos de la vida diaria, la sociedad y la economía. Nadie puede prescindir de él.
Existen incentivos arraigados para obtener más, radicalmente más. Nadie tiene el control
total de lo que hace ni de su próximo destino. No se trata de un concepto filosófico
descabellado, ni de un escenario determinista extremo, ni del tecnocentrismo californiano
desenfrenado. Es una descripción básica del mundo que todos habitamos, de hecho, del
mundo que hemos habitado desde hace bastante tiempo.
En este sentido, parece que la tecnología es, para usar una imagen implacable, un gran
moho que avanza lentamente hacia un futuro inevitable, con miles de millones de pequeñas
contribuciones realizadas por cada académico o empresario individual sin ninguna
coordinación o capacidad de resistencia. Atractores poderosos lo atraen. Donde aparecen
bloques, se abren brechas en otros lugares, y todo avanza. Desacelerar estas tecnologías es
contrario a los intereses nacionales, corporativos y de investigación.
Éste es el problema fundamental de la acción colectiva. La idea de que CRISPR o la IA
puedan volver a guardarse en la caja no es creíble. Hasta que alguien pueda crear un camino
plausible para desmantelar estos incentivos entrelazados, la opción de no construir, decir
no, tal vez incluso simplemente desacelerar o tomar un camino diferente no existe.
Contener la tecnología significa poner en cortocircuito todas estas dinámicas que se
refuerzan mutuamente. Es difícil imaginar cómo podría hacerse eso en cualquier escala de
tiempo que pudiera afectar la ola venidera. Sólo hay una entidad que tal vez podría
proporcionar la solución, una que ancle nuestro sistema político y asuma la responsabilidad
final de las tecnologías que produce la sociedad: el Estado-nación.
Pero hay un problema. Los estados ya se enfrentan a una tensión enorme y parece que
la próxima ola complicará mucho las cosas. Las consecuencias de esta colisión marcarán el
resto del siglo.
 PARTE III

ESTADOS DE
FRACASO
 CAPÍTULO 9

EL GRAN NEGOCIO
EL PROMESA DEL ESTADO

En EL FONDO, EL ESTADO-NACIÓN, LA unidad central del orden político mundial actual, ofrece a
sus ciudadanos un trato simple y muy persuasivo: que no sólo es posible la centralización
del poder en el Estado soberano y territorial, sino que sus beneficios superan con creces los
beneficios. riesgos. La historia sugiere que un monopolio sobre la violencia (es decir, confiar
al Estado una amplia libertad para hacer cumplir las leyes y desarrollar sus poderes
militares) es la forma más segura de permitir la paz y la prosperidad. Que, además, un país
bien administrado es una base clave para el crecimiento económico, la seguridad y el
bienestar. Durante los últimos quinientos años, centralizar el poder en una autoridad
singular ha sido esencial para mantener la paz, desatando los talentos creativos de miles de
millones de personas para trabajar duro, buscar educación, inventar, comerciar y, al hacerlo,
impulsar el progreso.
Incluso a medida que se vuelve más poderoso y se entrelaza con la vida cotidiana, el gran
negocio del Estado-nación, por lo tanto, es que el poder centralizado no sólo puede permitir
la paz y la prosperidad, sino que este poder puede contenerse mediante una serie de
controles, equilibrios y redistribuciones. y formas institucionales. A menudo damos por
sentado el delicado equilibrio que es necesario lograr entre los extremos para mantenerlo.
Por un lado, deben evitarse los excesos más distópicos del poder centralizado y, por otro,
debemos aceptar una intervención regular para mantener el orden.
Hoy, más que en cualquier otro momento de la historia, las tecnologías de la próxima ola
amenazan con alterar este frágil equilibrio. En pocas palabras, el gran acuerdo se está
fracturando y la tecnología es un motor fundamental de esta transformación histórica.
Dado que los Estados-nación están encargados de gestionar y regular el impacto de la
tecnología en beneficio de sus poblaciones, ¿qué tan preparados están para lo que está por
venir? Si el Estado es incapaz de coordinar la contención de esta ola, incapaz de garantizar
que sea de beneficio neto para sus ciudadanos, ¿qué opciones le quedan a la humanidad en
el mediano y largo plazo?
En las dos primeras secciones del libro, vimos que una ola de poderosas tecnologías está
a punto de caer sobre nosotros. Ahora es el momento de considerar lo que esto significa y
vislumbrar un mundo después del diluvio.
En esta tercera sección del libro, abordamos las profundas consecuencias de estas
tecnologías para el Estado-nación y, sobre todo, para el Estado-nación democrático liberal.
Ya se están formando grietas. El orden político que fomentó el aumento de la riqueza,
mejores niveles de vida, el aumento de la educación, la ciencia y la tecnología, un mundo que
tiende hacia la paz, se encuentra ahora bajo una inmensa tensión, desestabilizado en parte
por las mismas fuerzas que ayudó a engendrar. Las implicaciones totales son amplias y
difíciles de comprender, pero para mí indican un futuro en el que el desafío de la contención
es más difícil que nunca, en el que el gran dilema del siglo se vuelve inevitable.

LECCIONES DE COPENHAGUE:
LA POLÍTICA ES PERSONAL

Siempre he creído apasionadamente en el poder del Estado para mejorar vidas. Antes de mi
carrera en IA, trabajé en el gobierno y en el sector sin fines de lucro. Ayudé a iniciar un
servicio benéfico de asesoramiento telefónico cuando tenía diecinueve años, trabajé para el
alcalde de Londres y cofundé una empresa de resolución de conflictos centrada en la
negociación entre múltiples partes interesadas. Trabajar con servidores públicos (personas
agotadas y cansadas, pero siempre en demanda y haciendo un trabajo heroico para quienes
lo necesitan) fue suficiente para mostrarme el desastre que sería si el Estado fracasara.
Sin embargo, mi experiencia con el gobierno local, las negociaciones de la ONU y las
organizaciones sin fines de lucro también me brindó un valioso conocimiento de primera
mano de sus limitaciones. A menudo están crónicamente mal administrados, hinchados y
lentos. actuar. Un proyecto que facilité en 2009 en las negociaciones sobre el clima de
Copenhague implicó convocar a cientos de ONG y expertos científicos para alinear sus
posiciones negociadoras. La idea era presentar una posición coherente a 192 países en
disputa en la cumbre principal.
Excepto que no pudimos lograr consenso en nada. Para empezar, nadie podía ponerse
de acuerdo sobre la ciencia o la realidad de lo que estaba sucediendo sobre el terreno. Las
prioridades estaban dispersas. No hubo consenso sobre lo que sería eficaz, asequible o
incluso práctico. ¿Podrían recaudar 10 mil millones de dólares para convertir el Amazonas
en un parque nacional capaz de absorber CO 2 ? ¿Cómo vas a lidiar con las milicias y los
sobornos? ¿O tal vez la respuesta fue reforestar Noruega, no Brasil, o la solución fue cultivar
granjas de algas gigantes? Tan pronto como se expresaron las propuestas, alguien habló para
hacerles agujeros. Cada sugerencia fue un problema. Terminamos con la máxima divergencia
en todas las cosas posibles. En otras palabras, era la política de siempre.
Y esto involucraba a personas teóricamente del “mismo equipo”. Ni siquiera habíamos
llegado al evento principal y al verdadero regateo. En la cumbre de Copenhague un montón
de estados tenían sus propias posiciones en competencia. Ahora acumule la emoción cruda.
Los negociadores intentaban tomar decisiones con cientos de personas en la sala
discutiendo, gritando y dividiéndose en grupos, todo mientras el tiempo corría, tanto en la
cumbre como en el planeta. Yo estaba allí tratando de ayudar a facilitar el proceso, quizás la
negociación multipartidaria más compleja y de mayor riesgo en la historia de la humanidad,
pero desde el principio parecía casi imposible. Al observar esto, me di cuenta de que no
íbamos a lograr avances suficientes y con suficiente rapidez. El cronograma era demasiado
ajustado. Las cuestiones eran demasiado complejas. Nuestras instituciones para abordar
problemas globales masivos no eran adecuadas para su propósito.
Vi algo similar trabajando para el alcalde de Londres cuando tenía poco más de veinte
años. Mi trabajo consistía en auditar el impacto de la legislación de derechos humanos en las
comunidades de la ciudad. Entrevisté a todos, desde bangladesíes británicos hasta grupos
judíos locales, jóvenes y mayores, de todos los credos y orígenes. La experiencia demostró
cómo el derecho de los derechos humanos podía ayudar a mejorar vidas de una manera muy
práctica. A diferencia de Estados Unidos, el Reino Unido no tiene una constitución escrita que
proteja los derechos fundamentales de las personas. Ahora los grupos locales podrían llevar
los problemas a las autoridades locales y señalar que tenían obligaciones legales de proteger
a los más vulnerables; No podían esconderlos debajo de la alfombra. En un nivel fue
inspirador. Me dio esperanza: las instituciones podrían tener un conjunto codificado de
reglas sobre justicia. El sistema podría cumplir.
Pero, por supuesto, la realidad de la política londinense era muy diferente. En la práctica,
todo se convirtió en excusas, cambio de culpas y tergiversaciones mediáticas. Incluso cuando
había una responsabilidad legal clara, los departamentos o consejos no respondían,
esquivaban, esquivaban y demoraban. El estancamiento ante los desafíos reales era
endémico.
Al ingresar al ayuntamiento de Londres, acababa de cumplir veintiún años. Era 2005 y
yo era ingenuamente optimista. Creía en el gobierno local (y en las Naciones Unidas, de
hecho); para un extraño, parecían instituciones grandiosas y efectivas donde podíamos
trabajar juntos para abordar las grandes cuestiones. Pensé, como muchos en esa época, que
el globalismo y la democracia liberal eran valores predeterminados, el bienvenido estado
final de la historia. El contacto con la realidad fue suficiente para mostrar el abismo entre los
ideales desesperados y los hechos sobre el terreno.
Por esa época, también comencé a prestar atención a algo más que estaba tomando
forma. Facebook estaba creciendo a una velocidad sin precedentes. De alguna manera,
incluso cuando todo, desde el gobierno local hasta las Naciones Unidas, parecía funcionar a
un ritmo glacial, esta pequeña empresa emergente había crecido hasta alcanzar más de 100
millones de usuarios mensuales en tan sólo unos años. Ese solo hecho cambió el curso de mi
vida. Para mí estaba muy claro que algunas organizaciones todavía eran capaces de realizar
acciones altamente efectivas a escala y estaban operando en nuevos espacios, como
plataformas en línea.
La idea de que la tecnología por sí sola puede resolver problemas sociales y políticos es
una ilusión peligrosa. Pero la idea de que pueden resolverse sin tecnología también es
errónea. Ver de cerca las frustraciones de los servidores públicos me hizo querer encontrar
otras formas efectivas de hacer las cosas a escala, trabajando no en contra del Estado sino en
concierto con él para crear sociedades más productivas, más justas y más amables.
Los avances tecnológicos nos ayudarán a afrontar los desafíos señalados en la última
sección: cultivar alimentos en medio de temperaturas insostenibles; detectar inundaciones,
terremotos e incendios con antelación; y aumentar el nivel de vida de todos. En una época
de costos vertiginosos y servicios en deterioro, considero que la IA y la biología sintética son
palancas fundamentales para ayudar a acelerar el progreso. Harán que la atención sanitaria
sea tanto de mayor calidad y más asequible. Nos ayudarán a inventar herramientas para
lograr la transición a las energías renovables y combatir el cambio climático en un momento
en que la política se ha estancado, y apoyarán a los docentes, contribuyendo a aumentar la
eficacia de los sistemas educativos con financiación insuficiente. Éste es el verdadero
potencial de la próxima ola.
 Entonces me embarqué en una carrera en tecnología, creyendo que una nueva
generación de herramientas podría amplificar nuestra capacidad de actuar a escala,
operando mucho más rápidamente que las políticas tradicionales. Ponerlos a trabajar para
“inventar el futuro” parecía la mejor manera de pasar los años más productivos de mi vida.
Invoco mi vena idealista para poner los siguientes capítulos en contexto, para dejar claro
que considero el cuadro, a menudo sombrío, pintado como un fracaso titánico de la
tecnología y un fracaso de las personas como yo que la construyen.
Si bien la tecnología sigue siendo la vía más poderosa para abordar los desafíos del siglo
XXI, no podemos ignorar sus desventajas. Si bien reconocemos los numerosos beneficios,
también debemos superar la aversión al pesimismo y analizar con frialdad y detenimiento
los nuevos riesgos que podrían surgir de las tecnologías omniuso. Con el tiempo, la
naturaleza de esos riesgos (y la magnitud de lo que está en juego) se ha vuelto cada vez más
clara. La tecnología no es sólo una herramienta para respaldar el acuerdo que hemos hecho
en el Estado-nación; también es una amenaza genuina para él.
Una minoría influyente en la industria tecnológica no sólo cree que las nuevas
tecnologías representan una amenaza para nuestro mundo ordenado de Estados-nación;
este grupo celebra activamente su desaparición. Estos críticos creen que el Estado es el
principal obstáculo. Argumentan que es mejor desecharlo, ya que está tan problemático que
ya no se puede rescatar. Estoy fundamentalmente en desacuerdo; tal resultado sería un
desastre.
Soy británica, nací y crecí en Londres, pero un lado de mi familia es sirio. Mi familia se
ha visto atrapada en la terrible guerra que ha sufrido ese país en los últimos años. Sé bien lo
que sucede cuando los estados fracasan y, para decirlo crudamente, es inimaginablemente
malo. Horrendo. Y cualquiera que piense que lo que pasó en Siria nunca podría suceder
“aquí” se está engañando a sí mismo; las personas son personas dondequiera que estén.
Nuestro sistema de Estados-nación no es perfecto, ni mucho menos. No obstante, debemos
hacer todo lo posible para reforzarlo y protegerlo. Este libro, en parte, es mi intento de salir
en su defensa.
Nada más –ninguna otra solución milagrosa– llegará a tiempo para salvarnos, para
absorber la fuerza desestabilizadora de la ola. Simplemente no hay otra opción a medio
plazo.
Incluso en los mejores escenarios, la próxima ola supondrá un inmenso shock para los
sistemas que gobiernan las sociedades. Antes de explorar los peligros de la ola, vale la pena
preguntar acerca de la salud general de los Estados-nación. ¿Están en condiciones de
afrontar los desafíos que se avecinan?

ESTADOS FRÁGILES

Las condiciones de vida globales son objetivamente mejores hoy que en cualquier otro
momento del pasado. Damos por sentado el agua corriente y los abundantes suministros de
alimentos. La mayoría de la gente disfruta de calidez y refugio durante todo el año. Las tasas
de alfabetización, la esperanza de vida y la igualdad de género se encuentran en máximos
históricos. La suma de miles de años de erudición e investigación humana está disponible
con solo tocar un botón. Para la mayoría de las personas en los países desarrollados, la vida
está marcada por una tranquilidad y una abundancia que habrían parecido increíbles en
épocas pasadas. Y, sin embargo, bajo la superficie, hay una sensación persistente de que algo
no está del todo bien.
Las sociedades occidentales en particular están sumidas en una ansiedad
profundamente arraigada; son “estados nerviosos”, impulsivos y rebeldes. Esta persistente
inquietud es en parte el resultado de conmociones anteriores (múltiples crisis financieras, la
pandemia, la violencia (todo, desde el 11 de septiembre hasta la guerra de Ucrania)) y en
parte el efecto de presiones crecientes y de largo plazo como la disminución de la confianza
pública, el aumento de la desigualdad, y un clima más cálido. Al entrar en la próxima ola,
muchas naciones se ven acosadas por una serie de desafíos importantes que afectan su
eficacia, debilitándolas, volviéndolas más divididas y más propensas a una toma de
decisiones lenta y defectuosa. La próxima ola aterrizará en un entorno combustible,
incompetente y sobreexcitado. Esto hace que el desafío de la contención –de controlar y
dirigir las tecnologías para que sean de beneficio neto para la humanidad– sea aún más
abrumador.

LAS DEMOCRACIAS SE BASAN EN la confianza. La gente necesita confiar en que los funcionarios
gubernamentales, los militares y otras elites no abusarán de sus posiciones dominantes.
Todo el mundo confía en que se pagarán los impuestos, las normas respetados, los intereses
del conjunto antepuestos a los de los individuos. Sin confianza, desde las urnas hasta la
declaración de impuestos, desde el ayuntamiento hasta el poder judicial, las sociedades están
en problemas.
La confianza en el gobierno, particularmente en Estados Unidos, se ha derrumbado.
Según una encuesta de Pew, más del 70 por ciento de los estadounidenses confiaba en que
las administraciones presidenciales de posguerra, como las de Eisenhower y Johnson, harían
“lo correcto”. Para presidentes recientes como Obama, Trump y Biden, esta medida de
confianza se ha derrumbado y todos han caído por debajo del 20 por ciento.
Sorprendentemente, un estudio de 2018 sobre la democracia en Estados Unidos encontró
que ¡uno de cada cinco cree que el “gobierno militar” es una buena idea! No menos del 85
por ciento de los estadounidenses sienten que el país “va en la dirección equivocada”. La
desconfianza se extiende a las instituciones no gubernamentales, con niveles crecientes de
desconfianza en los medios de comunicación, el establishment científico y la idea de
experiencia en general.
El problema no se limita a Estados Unidos. Otra encuesta de Pew encontró que en
veintisiete países, la mayoría estaba insatisfecha con sus democracias. Una encuesta del
Índice de Percepción de la Democracia encontró que en cincuenta países dos tercios de los
encuestados sentían que el gobierno “rara vez” o “nunca” actuaba en aras del interés público.
El hecho de que tanta gente sienta profundamente que la sociedad está fallando es en sí
mismo un problema: la desconfianza genera negatividad y apatía. La gente se niega a votar.
Desde 2010, más países han retrocedido en medidas de democracia que los que han
progresado, un proceso que parece estar acelerándose. El creciente nacionalismo y
autoritarismo parecen endémicos, desde Polonia y China hasta Rusia, Hungría, Filipinas y
Turquía. Los movimientos populistas van desde los más extraños, como QAnon, hasta los sin
dirección (los chalecos amarillos en Francia), pero desde Bolsonaro en Brasil hasta el Brexit
en el Reino Unido ha sido imposible pasar por alto su prominencia en el escenario mundial.
Detrás del nuevo impulso autoritario y la inestabilidad política se esconde un creciente
resentimiento social. La desigualdad, un catalizador clave de la inestabilidad y el
resentimiento social, ha aumentado en las naciones occidentales en las últimas décadas, y en
ningún lugar más que en Estados Unidos. Entre 1980 y 2021, la proporción del ingreso
nacional obtenida por el 1 por ciento más rico casi se ha duplicado y ahora se sitúa justo por
debajo del 50 por ciento. La riqueza está cada vez más concentrada en una pequeña
camarilla. La política gubernamental, una contracción La población en edad de trabajar, el
estancamiento de los niveles educativos y la desaceleración del crecimiento a largo plazo han
contribuido a crear sociedades decisivamente más desiguales. Cuarenta millones de
personas en Estados Unidos viven en la pobreza y más de cinco millones viven en
“condiciones del Tercer Mundo”, todo ello dentro de la economía más rica del mundo.
Estas son tendencias especialmente preocupantes si se consideran las relaciones
persistentes entre la inmovilidad social, la creciente desigualdad y la violencia política. A
partir de datos de más de cien países, la evidencia sugiere que cuanto menor es la movilidad
social de un país, más trastornos experimenta como disturbios, huelgas, asesinatos,
campañas revolucionarias y guerras civiles. Cuando las personas se sienten estancadas, que
otros están acaparando injustamente las recompensas, se enojan.
No hace mucho tiempo, el mundo debía ser “plano”, un terreno sin fricciones de fácil
comercio y creciente prosperidad. De hecho, a medida que avanza el siglo XXI, las crisis de
las cadenas de suministro y las crisis financieras siguen siendo características indelebles de
la economía. Aquellos países que se inclinan hacia el nacionalismo están experimentando, en
parte, un alejamiento de la brillante promesa del siglo XX de que una mayor interconexión
aceleraría la expansión de la riqueza y la democracia.
Deslocalización, seguridad nacional, cadenas de suministro resilientes, autosuficiencia:
el lenguaje del comercio actual vuelve a ser el lenguaje de las fronteras, las barreras y los
aranceles. Al mismo tiempo, los alimentos, la energía, las materias primas y bienes de todo
tipo se han encarecido. Básicamente, todo el orden económico y de seguridad de la posguerra
enfrenta tensiones sin precedentes.
Los desafíos globales están alcanzando un umbral crítico. Inflación galopante. Escasez
de energía. Ingresos estancados. Una ruptura de confianza. Olas de populismo. Ninguna de
las viejas visiones de izquierda o derecha parece ofrecer respuestas convincentes, pero
parece que hay pocas opciones mejores. Se necesitaría una persona valiente, o posiblemente
delirante, para argumentar que todo está bien, que no hay fuerzas serias de populismo, ira y
disfunción que asolan las sociedades, todo ello a pesar de los niveles de vida más altos que
el mundo haya conocido.
Esto hace que la contención sea mucho más complicada. Formar consenso nacional e
internacional y establecer nuevas normas en torno a tecnologías de rápida evolución ya son
desafíos difíciles. ¿Cómo podemos esperar hacer esto cuando nuestro modo de referencia
parece ser la inestabilidad?
 LA TECNOLOGÍA ES POLÍTICA:
EL DESAFÍO DE LA OLA A LOS ESTADOS

Cada ola anterior de tecnología ha tenido profundas implicaciones políticas. Deberíamos

esperar lo mismo en el futuro. La última ola (la llegada de mainframes, PC de escritorio y
software de escritorio, Internet y los teléfonos inteligentes) trajo inmensos beneficios a la
sociedad. Estableció las nuevas herramientas para la economía moderna, impulsó el
crecimiento y transformó el acceso al conocimiento, al entretenimiento y a los demás. En
medio de la actual preocupación por los efectos negativos de las redes sociales, es fácil pasar
por alto estos innumerables aspectos positivos. Sin embargo, durante la última década, un
creciente consenso sugiere que estas tecnologías también hicieron algo más: crear las
condiciones para alimentar y amplificar esta polarización política subyacente y fragilidad
institucional.
No es ninguna novedad que las plataformas de redes sociales puedan desencadenar
respuestas emocionales viscerales, las descargas de adrenalina que tan eficazmente generan
las amenazas percibidas. Las redes sociales se nutren de emociones intensas y, muy a
menudo, de indignación. Un metaanálisis publicado en la revista Nature revisó los resultados
de casi quinientos estudios y concluyó que existe una clara correlación entre el uso creciente
de los medios digitales y la creciente desconfianza en la política, los movimientos populistas,
el odio y la polarización. Puede que la correlación no sea causalidad, pero esta revisión
sistemática arroja “evidencias claras de graves amenazas a la democracia” provenientes de
las nuevas tecnologías.
La tecnología ya ha erosionado las fronteras estables y soberanas de los Estados-nación,
creando o apoyando flujos innatamente globales de personas, información, ideas,
conocimientos, materias primas, productos terminados, capital y riqueza. Es, como hemos
visto, un componente importante de la estrategia geopolítica. Afecta a casi todos los aspectos
de la vida de las personas. Incluso antes de que llegue la próxima ola, la tecnología es un
motor en el escenario mundial, un factor importante en el deterioro de la salud de los
Estados-nación de todo el mundo. Demasiado rápida en su desarrollo, demasiado global,
demasiado proteica y atractiva para cualquier modelo simple de contención,
estratégicamente crítica, en la que confían miles de millones, la tecnología moderna en sí
misma es un actor principal, una fuerza monumental que los Estados-nación luchan por
gestionar. La IA, la biología sintética y el resto se están introduciendo en sociedades
disfuncionales que ya se han recuperado. y adelante sobre ondas tecnológicas de inmenso
poder. Éste no es un mundo preparado para la ola que se avecina. Este es un mundo que se
hunde bajo la presión existente.

A MENUDO HE OÍDO decir que la tecnología es “neutral en cuanto a valores” y que su política
surge de su uso. Esto es tan reduccionista y simplista que casi no tiene sentido. La tecnología
no “causó” ni creó directamente el Estado moderno (ni tampoco ninguna estructura política).
Pero el potencial que desata no es neutral en esa historia.
 Como dice el historiador de la tecnología Langdon Winner: “La tecnología en sus
diversas manifestaciones es una parte importante del mundo humano. Sus estructuras,
procesos y alteraciones entran y se vuelven parte de las estructuras, procesos y alteraciones
de la conciencia humana, la sociedad y la política”. En otras palabras, la tecnología es política.
Este hecho es radicalmente poco reconocido no sólo por nuestros líderes sino incluso
por quienes construyen la tecnología misma. A veces esta politización sutil pero
omnipresente es casi invisible. No debería ser así. Las redes sociales son sólo el recordatorio
más reciente de que la tecnología y la organización política no pueden divorciarse. Los
Estados y las tecnologías están íntimamente ligados. Esto tiene ramificaciones importantes
para lo que viene.
Si bien la tecnología no empuja de manera simplista a las personas en una dirección
predeterminada, no es un tecnodeterminismo ingenuo reconocer su tendencia a permitir
ciertas capacidades o ver cómo genera algunos resultados sobre otros. En esto, la tecnología
es uno de los determinantes clave de la historia, pero nunca sola y nunca de una manera
mecanicista e inherentemente predecible. No causa superficialmente determinados
comportamientos o resultados, pero lo que produce guía o circunscribe posibilidades.
La guerra, la paz, el comercio, el orden político, la cultura, siempre han estado
fundamentalmente interrelacionados y, además, con la tecnología. Las tecnologías son ideas,
manifestadas en productos y servicios que tienen consecuencias profundas y duraderas para
las personas, las estructuras sociales, el medio ambiente y todo lo demás.
La tecnología moderna y el Estado evolucionaron simbióticamente, en constante
diálogo. Pensemos en cómo la tecnología facilitó las partes operativas centrales del Estado,
ayudando a construir el edificio de la identidad y la administración nacionales. La escritura
se inventó como una herramienta administrativa y contable para realice un seguimiento de
deudas, herencias, leyes, impuestos, contratos y registros de propiedad. El reloj produjo
tiempos fijos, primero en espacios limitados como los monasterios, pero luego en forma
mecánica en las ciudades mercantiles de finales de la Edad Media y, finalmente, en todas las
naciones, creando unidades sociales comunes y cada vez más grandes. La imprenta ayudó a
estandarizar las lenguas nacionales a partir de un caos de dialectos y, por tanto, ayudó a
producir una “comunidad imaginada” nacional, el pueblo unitario detrás de un Estado-
nación. Reemplazando tradiciones orales más fluidas, la palabra impresa fijó la geografía, el
conocimiento y la historia, promulgando códigos legales e ideologías establecidas. La radio
y la televisión impulsaron este proceso, creando momentos de similitud nacional e incluso
internacional vividos simultáneamente, como las charlas privadas de FDR o la Copa del
Mundo.
Las armas también son tecnologías centrales para el poder que ejercen los Estados-
nación. De hecho, los teóricos del Estado a menudo sugieren que la guerra misma fue
fundamental para su creación (en palabras del politólogo Charles Tilly, “La guerra hizo al
Estado y el Estado hizo la guerra”), de la misma manera que el conflicto siempre ha sido un
acicate para nuevas ideas. tecnologías, desde carros y armaduras metálicas hasta radares y
chips avanzados que guían las municiones de precisión. Introducida en Europa en el siglo
XIII, la pólvora rompió el antiguo patrón de los castillos medievales defensivos. Los
asentamientos fortificados eran ahora blancos fáciles de bombardear. En la Guerra de los
Cien Años entre Gran Bretaña y Francia, las capacidades ofensivas dieron ventaja a aquellos
que podían permitirse comprar, construir, mantener, mover y desplegar cañones que
requerían mucho capital. A lo largo de los años, el Estado concentró un poder letal cada vez
mayor en sus propias manos, reclamando el monopolio del uso legítimo de la fuerza.
En pocas palabras, la tecnología y el orden político están íntimamente conectados. La
introducción de nuevas tecnologías tiene importantes consecuencias políticas. Así como el
cañón y la imprenta trastornaron la sociedad, deberíamos esperar lo mismo de tecnologías
como la inteligencia artificial, la robótica y la biología sintética.
Haga una pausa por un momento e imagine un mundo donde los robots con la destreza
de los seres humanos que pueden ser "programados" en un lenguaje sencillo estén
disponibles al precio de un microondas. ¿Puedes empezar a pensar en todos los usos que se
le darán a una tecnología tan valiosa? ¿O con qué amplitud se adoptarán dichas
herramientas? ¿Quién o más bien qué estará mirando? ¿Después de tu anciana madre en una
residencia de ancianos? ¿Cómo pedirás comida en un restaurante y quién la llevará a tu
mesa? ¿Cómo se ve la aplicación de la ley en una situación de rehenes? ¿Quién atenderá los
huertos en el momento de la cosecha? ¿Cómo reaccionarán los planificadores militares y
paramilitares cuando no sea necesario enviar humanos al combate? ¿Cómo será el campo
deportivo cuando los niños entrenen al fútbol? ¿Cómo será tu limpiador de ventanas? ¿Quién
es el propietario de todo este hardware y propiedad intelectual, quién lo controla, qué
salvaguardas existen en caso de que algo salga mal?
Imagínese todo esto, e implica una economía política muy diferente a la actual.

EL ESTADO-NACIÓN INDUSTRIALIZADO, MODERNO, LIBERAL Y DEMOCRÁTICO ha sido la fuerza global

dominante desde principios del siglo XX, el claro “vencedor” del gran choque político del siglo
pasado. Llegó con funciones definitorias que ahora se dan por sentadas. La provisión de
seguridad. Grandes concentraciones de poder legítimo en el centro, capaces de dominar
completamente dentro de sus jurisdicciones, pero también controles y equilibrios sensatos
y separaciones entre todas las formas de poder. Bienestar adecuado a través de la
redistribución y una buena gestión económica. Marcos estables de innovación y regulación
tecnológica, junto con toda una arquitectura socioeconómica-legal de la globalización.
En los próximos capítulos veremos cómo la próxima ola pone todo esto bajo gran
amenaza.
Creo que lo que surja tenderá en dos direcciones con un espectro de resultados
intermedios. En una trayectoria, algunos Estados democráticos liberales seguirán siendo
erosionados desde dentro, convirtiéndose en una especie de gobierno zombi. Los símbolos
de la democracia liberal y del Estado-nación tradicional persisten, pero funcionalmente
están vaciados, los servicios básicos están cada vez más desgastados y el sistema político es
inestable y rebelde. Al dar bandazos en ausencia de cualquier otra cosa, se vuelven cada vez
más degradados y disfuncionales. Por otro lado, la adopción irreflexiva de algunos aspectos
de la ola venidera abre caminos hacia un control estatal dominante, creando Leviatanes
sobrealimentados cuyo poder va más allá incluso de los gobiernos totalitarios más extremos
de la historia. Los regímenes autoritarios también pueden tender a convertirse en zombis,
pero igualmente pueden redoblar sus esfuerzos, recibir impulso y convertirse en
tecnodictaduras de pleno derecho. En En cualquier caso, el delicado equilibrio que mantiene
unidos a los estados se precipita hacia el caos.
Tanto los Estados fallidos como los regímenes autoritarios son resultados desastrosos,
no sólo en sus propios términos, sino también para la tecnología de gobierno; Ni las
burocracias agitadas, ni los oportunistas populistas ni los dictadores todopoderosos son
personas a las que uno quisiera que fueran fundamentalmente responsables del control de
nuevas y poderosas tecnologías. Ninguna dirección puede contener o podrá contener la ola
que se avecina.
Entonces, de ambos lados está el peligro, dado que gestionar la ola venidera requiere
Estados confiados, ágiles y coherentes, responsables ante el pueblo, llenos de experiencia,
equilibrando intereses e incentivos, capaces de reaccionar rápida y decisivamente con
acciones legislativas y, fundamentalmente, estrecha coordinación internacional. Los líderes
tendrán que tomar medidas audaces y sin precedentes, sacrificando ganancias a corto plazo
por beneficios a largo plazo. Responder eficazmente a uno de los acontecimientos
transformadores y de mayor alcance de la historia requerirá gobiernos maduros, estables y,
sobre todo, confiables para rendir al máximo. Estados que funcionan muy, muy bien. Eso es
lo que será necesario para garantizar que la próxima ola produzca los grandes beneficios que
promete. Es una tarea increíblemente difícil.
Los robots baratos y omnipresentes como los esbozados anteriormente son, junto con
una serie de otras tecnologías transformadoras que vimos en la parte 2, absolutamente
inevitables en un horizonte de veinte años, y posiblemente mucho antes. En este contexto,
deberíamos esperar cambios profundos en la economía, el Estado-nación y todo lo que
conlleva. El gran negocio ya está en problemas. A medida que comience el diluvio, una serie
de nuevos factores estresantes sacudirán sus cimientos.
 CAPÍTULO 10

AMPLIFICADORES DE FRAGILIDAD
EMERGENCIA NACIONAL 2.0:
ASIMETRÍA INCONTENIDA EN ACCIÓN

En LA MAÑANA DEL 12 de mayo de 2017, el Servicio Nacional de Salud (NHS) de Gran Bretaña
se paralizó. Miles de sus instalaciones en todo el país vieron repentinamente congelarse sus
sistemas de TI. En los hospitales, el personal no pudo acceder a equipos médicos cruciales,
como escáneres de resonancia magnética, y no pudo acceder a los registros de los pacientes.
Se tuvieron que cancelar miles de procedimientos programados, desde citas para el cáncer
hasta cirugías electivas. Los equipos de atención, presas del pánico, recurrieron a medidas
provisionales manuales, utilizando notas en papel y teléfonos personales. El Royal London
Hospital cerró su departamento de urgencias y los pacientes quedaron acostados en camillas
fuera de los quirófanos.
El NHS había sido afectado por un ataque de ransomware. Se llamaba WannaCry y su
escala era inmensa. El ransomware funciona comprometiendo un sistema para cifrarlo y así
bloquear el acceso a archivos y capacidades clave. Los ciberatacantes suelen exigir un rescate
a cambio de liberar un sistema cautivo.
El NHS no fue el único objetivo de WannaCry. Al explotar una vulnerabilidad en los
sistemas más antiguos de Microsoft, los piratas informáticos habían encontrado una manera
de detener sectores del mundo digital, incluidas organizaciones como Deutsche Bahn,
Telefónica, FedEx, Hitachi e incluso el Ministerio de Seguridad Pública de China. WannaCry
engañó a algunos usuarios para que abrieran un correo electrónico, lo que liberó un "gusano"
que se replicaba y transportaba para infectar un cuarto de millón de computadoras en 150
países en sólo un día. por unos pocos Horas después del ataque, gran parte del mundo digital
se tambaleaba, retenido por un agresor distante y sin rostro para pedir un rescate. Los daños
resultantes costaron hasta 8.000 millones de dólares, pero las implicaciones fueron aún más
graves. El ataque WannaCry expuso cuán vulnerables eran las instituciones cuyo
funcionamiento damos por sentado ante ciberataques sofisticados.
Al final, el NHS (y el mundo) tuvo un golpe de suerte. Un hacker británico de veintidós
años llamado Marcus Hutchins tropezó con un interruptor de apagado. Al revisar el código
del malware, vio un nombre de dominio de aspecto extraño. Suponiendo que esto podría ser
parte de la estructura de comando y control del gusano, y al ver que el dominio no estaba
registrado, Hutchins lo compró por sólo $10,69, lo que le permitió controlar el virus mientras
Microsoft lanzaba actualizaciones para cerrar la vulnerabilidad.
Quizás lo más extraordinario de WannaCry es su origen. WannaCry se creó utilizando
tecnología creada por la Agencia de Seguridad Nacional de EE. UU. (NSA). Una unidad de élite
de la NSA llamada Oficina de Operaciones de Acceso a Medida había desarrollado un exploit
de ciberataque llamado EternalBlue. En palabras de un miembro del personal de la NSA,
éstas eran “las llaves del reino”, herramientas diseñadas para “socavar la seguridad de
muchas redes gubernamentales y corporativas importantes, tanto aquí como en el
extranjero”.
¿Cómo pudo un grupo de hackers obtener esta formidable tecnología, desarrollada por
una de las organizaciones técnicamente más sofisticadas del planeta? Como Microsoft señaló
en ese momento, “ Un escenario equivalente con armas convencionales sería que al ejército
estadounidense le robaran algunos de sus misiles Tomahawk”. A diferencia de los misiles
Tomahawk, las armas digitales de la NSA podrían deslizarse silenciosamente en una
memoria USB. Los piratas informáticos que robaron la tecnología, un grupo conocido como
Shadow Brokers, pusieron a la venta EternalBlue. Desde allí pronto terminó en manos de
piratas informáticos norcoreanos, probablemente la unidad cibernética Oficina 121
patrocinada por el estado. Luego lo lanzaron al mundo.
A pesar de los rápidos parches, las consecuencias de la filtración de EternalBlue no
habían terminado. En junio de 2017 surgió una nueva versión del arma, esta vez diseñada
específicamente para apuntar a la infraestructura nacional ucraniana en un ataque
rápidamente atribuido a la inteligencia militar rusa. El ciberataque NotPetya casi puso de
rodillas al país. Los sistemas de monitoreo de radiación en Chernobyl se quedaron sin
energía. Los cajeros automáticos dejaron de dispensar dinero. Los teléfonos móviles
quedaron en silencio. El diez por ciento de la población del país Las computadoras se
infectaron y la infraestructura básica, desde la red eléctrica hasta el Banco de Ahorros Estatal
de Ucrania, dejó de funcionar. Grandes multinacionales como el gigante naviero Maersk
quedaron inmovilizadas, daño colateral.
He aquí una parábola de la tecnología en el siglo XXI. El software creado por los servicios
de seguridad del estado tecnológicamente más sofisticado del mundo se filtra o se roba.
Desde allí, llega a manos de terroristas digitales que trabajan para uno de los estados más
fallidos y caprichosas potencias nucleares del mundo. Luego se convierte en un arma, se
vuelve contra el tejido central del Estado contemporáneo: servicios de salud,
infraestructuras de transporte y energía, negocios esenciales en las comunicaciones y la
logística globales. En otras palabras, gracias a un fallo básico de contención, una
superpotencia global se convirtió en víctima de su propia tecnología poderosa y
supuestamente segura.
Esta es una asimetría incontenida en acción.

AFORTUNADAMENTE, LOS ATAQUES DE RANSOMWARE descritos anteriormente se basaron en armas

cibernéticas convencionales. Afortunadamente, no confiaron en las características de la ola
que se avecinaba. Su poder y potencial eran limitados. El Estado-nación resultó arañado y
magullado, pero no quedó fundamentalmente socavado. Sin embargo, es una cuestión de
cuándo ocurrirá el próximo ataque, no de si ocurrirá, y la próxima vez puede que no
tengamos tanta suerte.
Es tentador argumentar que los ciberataques son mucho menos efectivos de lo que
podríamos haber imaginado, dada la velocidad a la que los sistemas críticos se recuperaron
de ataques como WannaCry. Con la ola que se avecina, esa suposición es un grave error. Estos
ataques demuestran que hay quienes utilizarían tecnologías de vanguardia para degradar y
desactivar funciones estatales clave. Muestran que las instituciones centrales de la vida
moderna son vulnerables. Un individuo solitario y una empresa privada (Microsoft)
solucionaron la debilidad sistémica. Este ataque no respetó fronteras nacionales. El papel del
gobierno en el manejo de la crisis fue limitado.
Ahora imaginemos si, en lugar de dejar accidentalmente abierta una laguna, los hackers
detrás de WannaCry hubieran diseñado el programa para aprender sistemáticamente sobre
sus propias vulnerabilidades y parchearlas repetidamente. Imagínese si, mientras atacaba,
el programa evolucionara para explotar más debilidades. Imagínense que luego empezó a
moverse por todos los hospitales, cada oficina, cada hogar, en constante mutación,
aprendizaje. Podría afectar a los sistemas de soporte vital, a la infraestructura militar, a la
señalización del transporte, a la red energética y a las bases de datos financieras. A medida
que se propaga, imagine que el programa aprende a detectar y detener nuevos intentos de
cerrarlo. Un arma como esta está en el horizonte, si no ya en desarrollo.
WannaCry y NotPetya son limitados en comparación con los tipos de agentes de
aprendizaje de propósito cada vez más general que conformarán la próxima generación de
armas cibernéticas, que amenazan con provocar la emergencia nacional 2.0. Los
ciberataques actuales no son la verdadera amenaza; son el canario en la mina de carbón de
una nueva era de vulnerabilidad e inestabilidad, que degrada el papel del Estado-nación
como único árbitro de la seguridad.
He aquí una aplicación específica, a corto plazo, de la tecnología de próxima ola que está
deshilachando el tejido del estado. En este capítulo analizamos cómo este y otros factores
estresantes socavan el edificio responsable de gobernar la tecnología. Estos amplificadores
de fragilidad, los shocks sistémicos y las emergencias 2.0, exacerbarán en gran medida los
desafíos existentes, sacudirán los cimientos del Estado y alterarán nuestro ya precario
equilibrio social. Esta es, en parte, una historia de quién puede hacer qué, una historia del
poder y dónde reside.

EL COSTO DE LA ENERGÍA EN CAÍDA

El poder es “la habilidad o capacidad de hacer algo o actuar de una manera particular;… de
dirigir o influir en el comportamiento de otros o en el curso de los acontecimientos”. Es la
energía mecánica o eléctrica la que sustenta la civilización. La base y principio central del
Estado. El poder, de una forma u otra, lo moldea todo. Y también está a punto de
transformarse.
En última instancia, la tecnología es política porque la tecnología es una forma de poder.
Y quizás la única característica predominante de la próxima ola es que democratizará el
acceso al poder. Como vimos en la parte 2, permitirá a las personas hacer cosas en el mundo
real. Lo pienso así: así como los costos de procesar y transmitir información se desplomaron
en la era del consumo de Internet, el costo de realmente hacer algo, tomar medidas,
proyectar poder, se desplomará con la próxima ola. Saber es fantástico, pero hacer tiene
mucho más impacto.
 En lugar de limitarse a consumir contenido, cualquiera puede producir Contenido de
vídeo, imagen y texto de calidad experta. La IA no solo te ayuda a encontrar información para
el discurso del padrino; también escribirá el discurso. Y todo a una escala nunca antes vista.
Los robots no sólo fabricarán automóviles y organizarán los pisos de los almacenes; Estarán
disponibles para cualquier reparador de garaje con un poco de tiempo e imaginación. La ola
pasada nos permitió secuenciar o leer el ADN. La próxima ola hará que la síntesis de ADN
esté disponible universalmente.
Dondequiera que esté el poder hoy, será amplificado. Cualquiera que tenga metas, es
decir, todos, tendrá una gran ayuda para alcanzarlas. Revisar una estrategia comercial,
organizar eventos sociales para una comunidad local o capturar territorio enemigo se vuelve
más fácil. Construir una aerolínea o dejar en tierra una flota son cosas más factibles. Ya sea
comercial, religiosa, cultural o militar, democrática o autoritaria, cualquier motivación
posible que se pueda imaginar puede mejorarse dramáticamente al tener energía más barata
a su alcance.
Hoy en día, no importa lo rico que seas, simplemente no puedes comprar un teléfono
inteligente más potente que el que están disponibles para miles de millones de personas. Con
demasiada frecuencia se pasa por alto este fenomenal logro de la civilización. En la próxima
década, el acceso a las ACI seguirá la misma tendencia. Esos mismos miles de millones pronto
tendrán un acceso prácticamente igual al mejor abogado, médico, estratega, diseñador,
entrenador, asistente ejecutivo, negociador, etc. Todos tendrán un equipo de talla mundial
de su lado y en su esquina.
Este será el mayor y más rápido acelerador de riqueza y prosperidad en la historia de la
humanidad. También será uno de los más caóticos. Si todos tienen acceso a más capacidades,
eso claramente también incluye a aquellos que desean causar daño. Dado que la tecnología
evoluciona más rápido que las medidas defensivas, los malos actores, desde los cárteles de
la droga mexicanos hasta los piratas informáticos norcoreanos, reciben una inyección de
estímulo. democratizar el acceso significa necesariamente democratizar el riesgo.
Estamos a punto de cruzar un umbral crítico en la historia de nuestra especie. Esto es a
lo que tendrá que enfrentarse el Estado-nación durante la próxima década. En este capítulo
analizamos algunos de los ejemplos clave de amplificación de la fragilidad derivada de la ola
que se avecina. Primero, analicemos más de cerca este riesgo a corto plazo: cómo los malos
actores podrán lanzar nuevas operaciones ofensivas. Estos ataques podrían ser letales,
ampliamente accesibles y una oportunidad para que alguien ataque a gran escala con
impunidad.

ROBOTS CON ARMAS:

LA PRIMACÍA DE LA OFENSA

En noviembre de 2020, Mohsen Fakhrizadeh era el científico principal y el eje del largo
esfuerzo de Irán por conseguir armas nucleares. Patriótico, dedicado y con mucha
experiencia, era el objetivo principal de los adversarios de Irán. Consciente de los riesgos,
mantuvo en secreto su paradero y sus movimientos con la ayuda de los servicios de
seguridad de Irán.
 Conduciendo en un convoy fuertemente custodiado por un camino polvoriento hacia su
casa de campo cerca del Mar Caspio, la caravana de Fakhrizadeh se detuvo repentinamente.
El vehículo del científico fue alcanzado por una ráfaga de balas. Herido, Fakhrizadeh salió
tambaleándose de su coche, sólo para morir por una segunda ráfaga de ametralladora que lo
atravesó. Sus guardaespaldas, miembros de la Guardia Revolucionaria de Irán, se
apresuraron a encontrarle sentido a lo que estaba sucediendo. ¿Dónde estaba el tirador?
Unos momentos más tarde se produjo una explosión y una camioneta cercana estalló en
llamas.
El camión, sin embargo, estaba vacío salvo por un arma. Ese día no hubo asesinos sobre
el terreno. En palabras de una investigación del New York Times , se trataba de una “prueba
debut de un francotirador computarizado de alta tecnología, equipado con inteligencia
artificial y ojos con múltiples cámaras, operado vía satélite y capaz de disparar 600 balas por
minuto”. Montada en una camioneta estratégicamente estacionada pero de aspecto
inofensivo equipada con cámaras, era una especie de arma robótica ensamblada por agentes
israelíes. Un humano autorizó el ataque, pero fue la IA la que ajustó automáticamente la
puntería del arma. Sólo se dispararon quince balas y una de las personas más destacadas y
mejor vigiladas de Irán murió en menos de un minuto. La explosión fue simplemente un
intento fallido de ocultar la evidencia.
El asesinato de Fakhrizadeh es un presagio de lo que está por venir. Robots armados
más sofisticados reducirán aún más las barreras a la violencia. Vídeos de la última generación
de robots, con nombres como Atlas y BigDog, son fáciles de encontrar en Internet. Aquí verás
humanoides fornidos y de aspecto extraño y pequeños robots parecidos a perros
correteando sobre pistas de obstáculos. Parecen curiosamente desequilibrados, pero nunca
parecen caer. Navegan por paisajes complejos con un movimiento extraño, su marcos de
aspecto pesado que nunca se caen. Hacen volteretas hacia atrás, saltos, giros y trucos.
Empújalos y se levantarán tranquila e inexorablemente. Y están listos para hacerlo una y otra
vez. Es espeluznante.
Imaginemos ahora robots equipados con reconocimiento facial, secuenciación de ADN y
armas automáticas. Es posible que los robots del futuro no adopten la forma de perros
correteadores. Miniaturizados aún más, tendrán el tamaño de un pájaro o una abeja, y
estarán armados con una pequeña arma de fuego o un frasco de ántrax. Es posible que pronto
estén disponibles para cualquiera que los desee. Así es como se ve el empoderamiento de los
malos actores.

EL COSTO DE LOS DRONES DE GRADO MILITAR se ha reducido en tres órdenes de magnitud durante
la última década. Para 2028, se gastarán 26 mil millones de dólares al año en drones militares
y, en ese momento, es probable que muchos sean completamente autónomos.
Los despliegues en vivo de drones autónomos son cada día más plausibles. En mayo de
2021, por ejemplo, se utilizó un enjambre de drones con inteligencia artificial en Gaza para
encontrar, identificar y atacar a militantes de Hamás. Empresas emergentes como Anduril,
Shield AI y Rebellion Defense han recaudado cientos de millones de dólares para construir
redes de drones autónomos y otras aplicaciones militares de la IA. Tecnologías
complementarias como la impresión 3D y las comunicaciones móviles avanzadas reducirán
el costo de los drones tácticos a unos pocos miles de dólares, poniéndolos al alcance de todos,
desde entusiastas aficionados hasta paramilitares y psicópatas solitarios.
Además de un acceso más fácil, las armas mejoradas por IA mejorarán en tiempo real. El
impacto de WannaCry acabó siendo mucho más limitado de lo que podría haber sido. Una
vez que se aplicó el parche de software, se resolvió el problema inmediato. La IA transforma
este tipo de ataque. Las armas cibernéticas de IA explorarán continuamente las redes,
adaptándose de forma autónoma para encontrar y explotar las debilidades. Los gusanos
informáticos existentes se replican utilizando un conjunto fijo de heurísticas
preprogramadas.
Pero, ¿qué pasaría si tuviera un gusano que se mejorara mediante el aprendizaje por
refuerzo, actualizando experimentalmente su código con cada interacción de la red y
encontrando cada vez formas más y más eficientes de aprovechar las vulnerabilidades
cibernéticas? Así como sistemas como AlphaGo aprenden estrategias inesperadas de
millones de juegos autojugados, también lo harán. Ciberataques habilitados por IA. Por
mucho que juegues con cada eventualidad, inevitablemente habrá una pequeña
vulnerabilidad que una IA persistente podrá descubrir.
Todo, desde automóviles y aviones hasta refrigeradores y centros de datos, depende de
vastas bases de códigos. Las próximas IA harán que sea más fácil que nunca identificar y
explotar las debilidades. Incluso podrían encontrar medios legales o financieros para dañar
a corporaciones u otras instituciones, puntos ocultos de falla en la regulación bancaria o
protocolos técnicos de seguridad. Como ha señalado el experto en ciberseguridad Bruce
Schneier, las IA podrían digerir las leyes y regulaciones del mundo para encontrar exploits,
arbitrando legalidades. Imagine un enorme caché de documentos filtrados de una empresa.
Una IA legal podría comparar esto con múltiples sistemas legales, descubrir cada posible
infracción y luego golpear a esa empresa con múltiples demandas paralizantes en todo el
mundo al mismo tiempo. Las IA podrían desarrollar estrategias comerciales automatizadas
diseñadas para destruir las posiciones de los competidores o crear campañas de
desinformación (más sobre esto en la siguiente sección), diseñando una corrida bancaria o
un boicot de productos, permitiendo a un competidor lanzarse y comprar la empresa, o
simplemente observar colapsa.
La IA, experta en explotar no sólo los sistemas financieros, legales o de comunicaciones,
sino también la psicología humana, nuestras debilidades y prejuicios, está en camino. Los
investigadores de Meta crearon un programa llamado CICERO. Se convirtió en un experto en
el complejo juego de mesa Diplomacy, un juego en el que la planificación de estrategias largas
y complejas basadas en el engaño y la traición es fundamental. Muestra cómo las IA podrían
ayudarnos a planificar y colaborar, pero también da pistas sobre cómo podrían desarrollar
trucos psicológicos para ganar confianza e influencia, leyendo y manipulando nuestras
emociones y comportamientos con un nivel aterrador de profundidad, una habilidad útil
para, digamos, ganar en Diplomacia o campaña electoral y construcción de un movimiento
político.
El espacio para posibles ataques contra funciones estatales clave crece incluso cuando
la misma premisa que hace que la IA sea tan poderosa y emocionante (su capacidad de
aprender y adaptarse) empodera a los malos actores.
 —

DURANTE SIGLOS, LAS CAPACIDADES OFENSIVAS DE VANGUARDIA , como artillería masiva, andanadas
navales, tanques, portaaviones o misiles balísticos intercontinentales, han sido inicialmente
sido tan costosas que siguieron siendo competencia del Estado-nación. Ahora están
evolucionando tan rápido que rápidamente proliferan en manos de laboratorios de
investigación, empresas emergentes y reparadores de garajes. Así como el efecto de
transmisión uno a muchos de las redes sociales significa que una sola persona puede
repentinamente transmitir globalmente, la capacidad de acción consecuente de gran alcance
se está volviendo disponible para todos.
Esta nueva dinámica, en la que los malos actores se animan a pasar a la ofensiva, abre
nuevos vectores de ataque gracias a la naturaleza interconectada y vulnerable de los
sistemas modernos: no sólo un hospital, sino todo un sistema de salud puede verse afectado;
no sólo un almacén sino toda una cadena de suministro. Con armas letales autónomas, los
costos, tanto en términos materiales como, sobre todo, humanos, de ir a la guerra, de atacar,
son más bajos que nunca. Al mismo tiempo, todo esto introduce mayores niveles de negación
y ambigüedad, degradando la lógica de la disuasión. Si nadie puede estar seguro de quién
inició la agresión o qué ha sucedido exactamente, ¿por qué no seguir adelante?
Cuando se empodera de esta manera a actores no estatales y malos, se socava una de las
propuestas centrales del Estado: la apariencia de un paraguas de seguridad para los
ciudadanos queda profundamente dañada. Las disposiciones de seguridad y protección son
pilares fundamentales del sistema de Estado-nación, no complementos agradables de tener.
En términos generales, los Estados saben cómo responder a cuestiones de ley y orden, o a
ataques directos de países hostiles. Pero esto es mucho más turbio, más amorfo y asimétrico,
y desdibuja las líneas de territorialidad y atribución fácil.
¿Cómo puede un Estado mantener la confianza de sus ciudadanos y defender ese gran
acuerdo, si no ofrece la promesa básica de seguridad? ¿Cómo puede garantizar que los
hospitales sigan funcionando, las escuelas permanezcan abiertas y las luces permanezcan,
literalmente, encendidas en este mundo? Si el Estado no puede protegerte a ti y a tu familia,
¿qué sentido tiene el cumplimiento y la pertenencia? Si sentimos que los fundamentos (la
electricidad que hace funcionar nuestras casas, los sistemas de transporte que nos
transportan, las redes de energía que nos mantienen calientes, nuestra seguridad personal
cotidiana) se están cayendo a pedazos y que ni nosotros ni el gobierno podemos hacer nada,
una fundación del sistema está destrozado. Si el Estado empezó con nuevas formas de guerra,
quizás termine de la misma manera.
A lo largo de la historia la tecnología ha producido una delicada danza de ventaja
ofensiva y defensiva, el péndulo oscila entre ambas pero el equilibrio se mantiene
aproximadamente: por cada nuevo proyectil o arma cibernética, rápidamente ha surgido una
potente contramedida. Los cañones pueden desgastar los muros de un castillo, pero también
pueden destrozar a un ejército invasor. Ahora es seguro que tecnologías poderosas,
asimétricas y omniusos llegarán a manos de aquellos que quieren dañar al Estado. Si bien las
operaciones defensivas se fortalecerán con el tiempo, la naturaleza de las cuatro
características favorece la ofensiva: esta proliferación de poder es demasiado amplia, rápida
y abierta. Se puede almacenar en una computadora portátil un algoritmo de importancia que
cambiará el mundo; pronto ni siquiera requerirá el tipo de infraestructura vasta y regulable
de la última ola e Internet. A diferencia de una flecha o incluso de un misil hipersónico, la IA
y los bioagentes evolucionarán de forma más económica, más rápida y más autónoma que
cualquier tecnología que hayamos visto. En consecuencia, sin un conjunto dramático de
intervenciones que alteren el rumbo actual, millones de personas tendrán acceso a estas
capacidades en tan sólo unos años.
Mantener una ventaja estratégica decisiva e indefinida en un espectro tan amplio de
tecnologías de uso general simplemente no es posible. Con el tiempo, el equilibrio podría
restablecerse, pero no antes de que se desate una ola de fuerza inmensamente
desestabilizadora. Y como hemos visto, la naturaleza de la amenaza está mucho más
extendida que las formas contundentes de agresión física. La información y la comunicación
juntas son su propio vector de riesgo cada vez mayor, otro amplificador de fragilidad
emergente que requiere atención.
Bienvenidos a la era de los deepfakes.

LA MÁQUINA DE LA DESINFORMACIÓN

En las elecciones locales de 2020 en India, el presidente del Partido Bharatiya Janata de
Delhi, Manoj Tiwari, fue filmado pronunciando un discurso de campaña, tanto en inglés como
en un dialecto hindi local. Ambos parecían y sonaban convincentemente reales. En el vídeo
ataca, acusando al líder de un partido rival de habernos “engañado”. Pero la versión en el
dialecto local era un deepfake, un nuevo tipo de medio sintético habilitado por IA. Producido
por una empresa de comunicaciones políticas, expuso al candidato a electores nuevos y de
difícil acceso. Falta de conciencia del discurso. En torno a los medios falsos, muchos
asumieron que era real. La empresa detrás del deepfake argumentó que se trataba de un uso
“positivo” de la tecnología, pero para cualquier observador sobrio, este incidente presagiaba
una nueva era peligrosa en la comunicación política. En otro incidente ampliamente
publicitado, se reeditó un clip de Nancy Pelosi para que pareciera enferma y deteriorada y
luego circuló ampliamente en las redes sociales.
Pregúntese, ¿qué sucede cuando alguien tiene el poder de crear y transmitir material
con niveles increíbles de realismo? Estos ejemplos ocurrieron antes de que los medios para
generar deepfakes casi perfectos (ya sea texto, imágenes, video o audio) se volvieran tan
fáciles como escribir una consulta en Google. Como vimos en el capítulo 4, los grandes
modelos lingüísticos ahora muestran resultados sorprendentes en la generación de medios
sintéticos. Un mundo de deepfakes indistinguibles de los medios convencionales está aquí.
Estas falsificaciones serán tan buenas que a nuestras mentes racionales les resultará difícil
aceptar que no son reales.
Los deepfakes se están extendiendo rápidamente. Si quieres ver una imitación
convincente de Tom Cruise preparándose para luchar contra un caimán, puedes hacerlo.
Cada vez más personas comunes serán imitadas a medida que los datos de entrenamiento
requeridos se reduzcan a solo un puñado de ejemplos. Ya está sucediendo. Un banco de Hong
Kong transfirió millones de dólares a estafadores en 2021, después de que uno de sus
clientes fuera suplantado por un deepfake. Pareciendo idénticos al cliente real, los
estafadores llamaron al director del banco y le explicaron que la empresa necesitaba mover
dinero para una adquisición. Todos los documentos parecían correctos, la voz y el carácter
eran perfectamente familiares, por lo que el gerente inició la transferencia.
Cualquier persona motivada a sembrar inestabilidad ahora lo tiene más fácil. Digamos
que tres días antes de una elección, la cámara capta al presidente usando un insulto racista.
La oficina de prensa de la campaña lo niega rotundamente, pero todo el mundo sabe lo que
ha visto. La indignación hierve en todo el país. Las encuestas caen en picada. Los estados
indecisos se desplazan repentinamente hacia el oponente, quien, contra todas las
expectativas, gana. Una nueva administración toma el mando. Pero el video es un deepfake,
tan sofisticado que evade incluso las mejores redes neuronales de detección de
falsificaciones.
La amenaza aquí no reside tanto en casos extremos como en escenarios sutiles,
matizados y altamente plausibles que se exageran y distorsionan. No es el presidente
entrando a una escuela gritando basura sin sentido mientras lanzan granadas; es el
presidente diciendo con resignación que no tiene más opción que instituir un conjunto de
leyes de emergencia o reintroducir el borrador. No son los fuegos artificiales de Hollywood;
son las supuestas imágenes de la cámara de vigilancia de un grupo de policías blancos
grabados golpeando a un hombre negro hasta matarlo.
Los sermones del predicador radical Anwar al-Awlaki inspiraron a los atacantes del
maratón de Boston, a los atacantes de Charlie Hebdo en París y al tirador que mató a cuarenta
y nueve personas en un club nocturno de Orlando. Sin embargo, al-Awlaki murió en 2011, el
primer ciudadano estadounidense asesinado por un ataque con aviones no tripulados
estadounidenses, antes de cualquiera de estos acontecimientos. Sin embargo, sus mensajes
radicalizadores todavía estuvieron disponibles en YouTube hasta 2017. Supongamos que
usando deepfakes se pudieran “desenterrar” nuevos videos de al-Awlaki, cada uno de los
cuales ordenaría más ataques dirigidos con una retórica perfeccionada. No todo el mundo lo
creería, pero aquellos que quisieran creer lo encontrarían absolutamente convincente.
Pronto estos videos serán total y creíblemente interactivos. Estás hablando
directamente con él. Él te conoce y se adapta a tu dialecto y estilo, juega con tu historia, tus
agravios personales, tu acoso escolar, tus terribles e inmorales padres occidentalizados. Esto
no es desinformación como un bombardeo generalizado; es desinformación como ataque
quirúrgico.
Los ataques de phishing contra políticos o empresarios, la desinformación con el
objetivo de perturbar o manipular los mercados financieros, medios diseñados para
envenenar líneas divisorias clave como las divisiones sectarias o raciales, incluso estafas de
bajo nivel: la confianza se daña y la fragilidad se amplifica nuevamente.
Con el tiempo, será fácil generar historias sintéticas completas y ricas de
acontecimientos aparentemente del mundo real. Los ciudadanos individuales no tendrán
tiempo ni herramientas para verificar una fracción del contenido que les llegue. Las
falsificaciones pasan fácilmente controles sofisticados, y mucho menos una prueba de olor
de dos segundos.
 ASALTOS DE INFORMACIÓN PATROCINADOS POR EL ESTADO

En la década de 1980, la Unión Soviética financió campañas de desinformación que sugerían

que el virus del SIDA era el resultado de un arma biológica estadounidense. programa. Años
más tarde, algunas comunidades todavía estaban lidiando con la desconfianza y las
consecuencias. Las campañas, mientras tanto, no han cesado. Según Facebook, los agentes
rusos crearon no menos de ochenta mil piezas de contenido orgánico que llegaron a 126
millones de estadounidenses en sus plataformas durante las elecciones de 2016.
Las herramientas digitales mejoradas con IA exacerbarán operaciones de información
como estas, interfiriendo en las elecciones, explotando las divisiones sociales y creando
elaboradas campañas de astroturfing para sembrar el caos. Desafortunadamente, está lejos
de ser sólo Rusia. Se ha descubierto que más de setenta países llevan a cabo campañas de
desinformación. China está alcanzando rápidamente a Rusia; otros, desde Turquía hasta Irán,
están desarrollando sus habilidades. ( La CIA tampoco es ajena a las operaciones de
información).
Al comienzo de la pandemia de COVID-19, una tormenta de desinformación tuvo
consecuencias mortales. Un estudio de Carnegie Mellon analizó más de 200 millones de
tweets sobre el COVID-19 en el apogeo del primer confinamiento. El ochenta y dos por ciento
de los usuarios influyentes que abogaban por la “reapertura de Estados Unidos” eran bots.
Se trataba de una “máquina de propaganda” dirigida, probablemente rusa, diseñada para
intensificar la peor crisis de salud pública en un siglo.
Los deepfakes automatizan estos ataques de información. Hasta ahora, las campañas de
desinformación eficaces han requerido mucha mano de obra. Si bien los bots y las
falsificaciones no son difíciles de crear, la mayoría son de baja calidad, fácilmente
identificables y sólo moderadamente efectivos para cambiar el comportamiento de los
objetivos.
Los medios sintéticos de alta calidad cambian esta ecuación. No todas las naciones tienen
actualmente los fondos para crear enormes programas de desinformación, con oficinas
dedicadas y legiones de personal capacitado, pero eso es una barrera menor cuando se puede
generar material de alta fidelidad con solo hacer clic en un botón. Gran parte del caos que se
avecina no será accidental. Se producirá cuando las campañas de desinformación existentes
se impulsen, se amplíen y se deleguen a un amplio grupo de actores motivados.
El auge de los medios sintéticos a escala y con un costo mínimo amplifica tanto la
desinformación (información maliciosa e intencionalmente engañosa) como la
desinformación (una contaminación más amplia y menos intencionada del espacio de la
información) a la vez. Indique un “Infocalipsis”, el punto en el que la sociedad ya no puede
manejar un torrente de material incompleto, donde el El ecosistema de información que
sustenta el conocimiento, la confianza y la cohesión social, el pegamento que mantiene unida
a la sociedad, se desmorona. En palabras de un informe de la Brookings Institution, medios
sintéticos perfectos y ubicuos significan “distorsionar el discurso democrático; manipular
elecciones; erosionar la confianza en las instituciones; debilitar el periodismo; exacerbar las
divisiones sociales; socavar la seguridad pública; e infligir daños difíciles de reparar a la
reputación de personas prominentes, incluidos funcionarios electos y candidatos a cargos
públicos”.
 Sin embargo, no todos los factores estresantes y perjudiciales provienen de malos
actores. Algunos provienen de las mejores intenciones. La amplificación de la fragilidad es
tanto accidental como deliberada.

LABORATORIOS CON FUGAS E

INESTABILIDAD NO DESEADA

En uno de los laboratorios más seguros del mundo, un grupo de investigadores estaba
experimentando con un patógeno mortal. Nadie puede estar seguro de lo que pasó después.
Incluso con el beneficio de la retrospectiva, los detalles sobre la investigación son escasos.
Lo cierto es que, en un país famoso por el secretismo y el control gubernamental, empezó a
aparecer una nueva y extraña enfermedad.
Pronto se encontró en todo el mundo, en el Reino Unido, Estados Unidos y más allá.
Curiosamente, esto no parecía una cepa completamente natural de la enfermedad. Ciertas
características generaron alarma en la comunidad científica y sugirieron que algo en el
laboratorio había salido terriblemente mal, que no se trataba de un evento natural. Pronto el
número de muertos empezó a aumentar. Ese laboratorio hiperseguro no parecía tan seguro
después de todo.
Si esto le parece una historia familiar, probablemente no sea en la que está pensando.
Corría el año 1977 y había una epidemia de gripe conocida como gripe rusa. Descubierto por
primera vez en China, se detectó poco después en la Unión Soviética, propagándose desde
allí y, según se informa, matando a hasta 700.000 personas. Lo inusual de la cepa de gripe
H1N1 era lo mucho que se parecía a una que circulaba en la década de 1950. La enfermedad
afectó más a los jóvenes, una posible señal de que tenían una inmunidad más débil que la de
hace unas décadas.
Abundan las teorías sobre lo sucedido. ¿Se había escapado algo del permafrost? ¿Fue
parte de la extensa y sombría política de Rusia? ¿Programa de armas biológicas? Sin
embargo, hasta la fecha la mejor explicación es una fuga de laboratorio. Una versión del virus
anterior probablemente se escapó de alguna manera durante experimentos de laboratorio
con una vacuna. La epidemia fue en sí misma causada por investigaciones bien intencionadas
destinadas a prevenir epidemias.
Los laboratorios biológicos están sujetos a estándares globales que deberían detener los
accidentes. Los más seguros se conocen como laboratorios de nivel de bioseguridad 4 (BSL-
4). Representan los más altos estándares de contención para trabajar con los materiales
patógenos más peligrosos. Las instalaciones están completamente selladas. La entrada es por
esclusa de aire. Todo lo que entra y sale se revisa minuciosamente. Todo el mundo lleva un
traje presurizado. Cualquiera que se vaya necesita ducharse. Todos los materiales son
eliminados, sujetos a los más estrictos protocolos. Están prohibidos los bordes cortantes de
cualquier tipo que puedan perforar guantes o trajes. Los investigadores de los laboratorios
BSL-4 están muy bien capacitados para crear los entornos más bioseguros que la humanidad
haya visto jamás.
Y, sin embargo, siguen produciéndose accidentes y fugas. La gripe rusa de 1977 es sólo
un ejemplo. Apenas dos años después, se liberaron accidentalmente esporas de ántrax de
una instalación secreta de armas biológicas soviéticas, lo que produjo un rastro de
enfermedad de cincuenta kilómetros que mató al menos a sesenta y seis personas.
En 2007, una tubería con fugas en el Instituto Pirbright del Reino Unido, que incluye
laboratorios BSL-4, provocó un brote de fiebre aftosa que costó £147 millones. En 2021, un
investigador de una empresa farmacéutica cerca de Filadelfia dejó viales de viruela en un
congelador sin etiquetas y sin seguridad. Por suerte, fueron encontrados por alguien que
limpiaba el congelador. La persona tuvo suerte de llevar mascarilla y guantes. Si hubiera
salido a la luz, las consecuencias habrían sido catastróficas. Antes de ser erradicada, la
viruela mató a entre 300 y 500 millones de personas sólo en el siglo XX, con una tasa de
reproducción equivalente a cepas más contagiosas de COVID-19, pero con una tasa de
mortalidad treinta veces mayor que la de COVID.
Se supone que el SARS debe mantenerse en condiciones BSL-3, pero se ha escapado de
los laboratorios de virología de Singapur, Taiwán y China. Increíblemente, se escapó cuatro
veces del mismo laboratorio en Beijing. Los errores fueron demasiado humanos y mundanos.
El caso de Singapur se debió a un estudiante de posgrado que desconocía la presencia del
SARS. En Taiwán, un investigador científico manejó mal los desechos biopeligrosos. En
Beijing, las filtraciones se atribuyeron a una mala desactivación del virus y a una mala
manipulación en laboratorios no bioseguros. Y todo eso incluso antes de mencionar Wuhan,
hogar del laboratorio BSL-4 más grande del mundo y un centro de investigación del
coronavirus.
Incluso cuando el número de laboratorios BSL-4 está en auge, sólo una cuarta parte de
ellos obtienen una puntuación alta en seguridad, según el Índice de Seguridad Sanitaria
Global. Entre 1975 y 2016, los investigadores catalogaron al menos setenta y una
exposiciones deliberadas o accidentales a patógenos tóxicos y altamente infecciosos. La
mayoría fueron pequeños accidentes que incluso el ser humano mejor entrenado
seguramente cometerá en ocasiones: un desliz con una aguja, un vial derramado, un
experimento preparado con un pequeño error. Es casi seguro que nuestra imagen está
incompleta. Pocos investigadores informan sobre los accidentes públicamente o con
prontitud. Una encuesta entre funcionarios de bioseguridad encontró que la mayoría nunca
reportó accidentes fuera de su institución. Una evaluación de riesgos de EE. UU. de 2014
estimó que durante una década la probabilidad de que se produjera “una fuga importante de
laboratorio” en diez laboratorios era del 91 por ciento; el riesgo de una pandemia resultante,
27 por ciento.
No debería salir nada. Sin embargo, los patógenos lo hacen una y otra vez. A pesar de ser
algunos de los más estrictos que existen, los protocolos, tecnologías y regulaciones de
contención fallan. Una pipeta agitadora. Un trozo de lámina de plástico perforado. Una gota
de solución se derramó sobre un zapato. Estos son fracasos tangibles de contención.
Accidental. Incidental. Ocurriendo con una regularidad sombría e inevitable. Sin embargo,
en la era de la vida sintética, introduce la posibilidad de que se produzcan accidentes que
podrían representar tanto un enorme factor estresante como algo a lo que volveremos más
adelante en la parte 3: una catástrofe.

—
POCAS ÁREAS DE LA BIOLOGÍA son tan controvertidas como la investigación de ganancia de
función (GOF). En pocas palabras, los experimentos de ganancia de función diseñan
deliberadamente patógenos para que sean más letales o infecciosos, o ambas cosas. En la
naturaleza, los virus suelen intercambiar letalidad por transmisibilidad. Cuanto más
transmisible es un virus, menos letal suele ser. Pero no hay ninguna razón absoluta para que
esto deba ser así. Una forma de entender cómo podría suceder (es decir, cómo los virus
podrían volverse más letales y transmisibles al mismo tiempo) y cómo podríamos combatirlo
es, bueno, hacerlo realidad.
Ahí es donde entra en juego la investigación sobre ganancia de función. Los
investigadores investigan los tiempos de incubación de las enfermedades, o cómo evaden la
resistencia a las vacunas, o tal vez cómo pueden propagarse de forma asintomática a través
de un población. Se han realizado trabajos como este en enfermedades como el Ébola, gripes
como la H1N1 y sarampión.
Estos esfuerzos de investigación son generalmente creíbles y bien intencionados. Un
buen ejemplo es el trabajo realizado con la gripe aviar en Holanda y Estados Unidos hace
aproximadamente una década. Esta enfermedad tenía tasas de mortalidad
sorprendentemente altas pero, afortunadamente, era muy difícil de contraer. Los
investigadores querían comprender cómo podría cambiar ese panorama, cómo esta
enfermedad podría transformarse en una forma más transmisible, y utilizaron hurones para
ver cómo podría ocurrir esto. En otras palabras, hicieron que una enfermedad mortal, en
principio, fuera más fácil de contraer.
Sin embargo, no hace falta mucha imaginación para imaginar cómo una investigación de
este tipo podría salir mal. Algunos, incluyéndome a mí, sintieron que diseñar o desarrollar
virus de forma deliberada era como jugar con el gatillo nuclear.
La investigación sobre ganancia de función es, basta decirlo, controvertida. Durante un
tiempo, las agencias de financiación estadounidenses impusieron una moratoria a su
financiación. En un clásico fracaso de la contención, este trabajo se reanudó en 2019. Hay al
menos algunos indicios de que el COVID-19 ha sido alterado genéticamente y un creciente
conjunto de evidencia (circunstancial), desde el historial del Instituto Wuhan hasta la
biología molecular del virus mismo, que sugiere que una fuga de laboratorio podría haber
sido el origen de la pandemia.
Tanto el FBI como el Departamento de Energía de Estados Unidos creen que este es el
caso, mientras que la CIA está indecisa. A diferencia de brotes anteriores, no hay pruebas
irrefutables de la transmisión zoonótica. Es eminentemente plausible que la investigación
biológica ya haya matado a millones de personas, paralizado la sociedad en todo el mundo y
costado billones de dólares. A finales de 2022, un estudio de los NIH de la Universidad de
Boston combinó la cepa original y más mortal de COVID con la proteína de pico de la variante
omicrón más transmisible. Muchos sintieron que la investigación no debería haber seguido
adelante, pero ahí estaba, financiada con dinero público.
No se trata de que los malos actores utilicen la tecnología como arma; Se trata de
consecuencias no deseadas de personas buenas que quieren mejorar los resultados de salud.
Se trata de qué sale mal cuando proliferan herramientas poderosas, qué errores se cometen,
qué “efectos de venganza” se despliegan, qué desorden aleatorio e imprevisto resulta de la
colisión de la tecnología con la realidad. Fuera de la mesa de dibujo, lejos de la teoría, ese
problema central de la tecnología incontenida se mantiene incluso con las mejores
intenciones.
La investigación del GOF tiene como objetivo mantener a las personas seguras. Sin
embargo, ocurre inevitablemente en un mundo defectuoso, donde los laboratorios tienen
fugas y ocurren pandemias. Independientemente de lo que sucedió en Wuhan, todavía es
sombríamente plausible que tales investigaciones sobre los coronavirus se estuvieran
llevando a cabo y se hubieran filtrado. Es difícil pasar por alto el historial histórico de fugas
de laboratorio.

LA INVESTIGACIÓN SOBRE GANANCIA DE FUNCIÓN Y las fugas de laboratorio son sólo dos ejemplos
particularmente claros de cómo la próxima ola introducirá una plétora de efectos de
venganza y modos de falla involuntarios. Si cada laboratorio medio competente o incluso un
biohacker aleatorio puede embarcarse en esta investigación, la tragedia no se puede
posponer indefinidamente. Fue este tipo de escenario el que se me describió en ese
seminario que mencioné en el capítulo 1.
A medida que crece el poder y la difusión de cualquier tecnología, aumentan sus modos
de fallo. Si un avión se estrella, es una tragedia terrible. Pero si toda una flota de aviones se
estrella, es algo mucho más aterrador. Para reiterar: estos riesgos no se refieren a daños
maliciosos; provienen simplemente de operar a la vanguardia de las tecnologías más capaces
de la historia, ampliamente integradas en los sistemas sociales centrales. Una fuga de
laboratorio es sólo un buen ejemplo de consecuencias no deseadas, el corazón del problema
de contención, una próxima ola equivalente a la fusión de reactores o la pérdida de ojivas.
Accidentes como este crean otro factor estresante impredecible, otra grieta en el sistema.
Sin embargo, los factores estresantes también podrían ser eventos menos discretos,
menos un ataque de robot, una fuga de laboratorio o un video falso, y más un proceso lento
y difuso que socava los cimientos. Consideremos que a lo largo de la historia, las
herramientas y tecnologías han sido diseñadas para ayudarnos a hacer más con menos. Cada
instancia individual no cuenta casi nada. Pero, ¿qué sucede si el efecto secundario final de
estas eficiencias compuestas es que los humanos no son necesarios para mucho trabajo?

EL DEBATE SOBRE LA AUTOMATIZACIÓN

En los años transcurridos desde que cofundé DeepMind, ningún debate sobre políticas de IA
ha tenido más tiempo de emisión que el futuro del trabajo, hasta el punto de sobresaturarse.
Aquí estaba la tesis original. En el pasado, las nuevas tecnologías pusieron gente sin
trabajo, produciendo lo que el economista John Maynard Keynes llamó “desempleo
tecnológico”. En opinión de Keynes, esto era algo bueno, ya que el aumento de la
productividad liberaba tiempo para una mayor innovación y ocio. Los ejemplos de
desplazamiento relacionado con la tecnología son innumerables. La introducción de los
telares mecánicos dejó sin trabajo a los tejedores tradicionales; los automóviles significaron
que ya no se necesitaban fabricantes de carruajes ni establos para caballos; A las fábricas de
bombillas les fue muy bien cuando los fabricantes de velas quebraron.
En términos generales, cuando la tecnología dañó empleos e industrias antiguos,
también produjo otros nuevos. Con el tiempo, estos nuevos empleos tendieron a desempeñar
funciones en la industria de servicios y empleos administrativos de base cognitiva. A medida
que las fábricas cerraron en Rust Belt, la demanda de abogados, diseñadores y personas
influyentes en las redes sociales se disparó. Al menos hasta ahora, en términos económicos,
las nuevas tecnologías no han sustituido en última instancia a la mano de obra; en conjunto
lo han complementado.
Pero ¿qué pasa si los nuevos sistemas que desplazan empleos escalan la escala de la
propia capacidad cognitiva humana, sin dejar ningún lugar nuevo al que recurrir la mano de
obra? Si la ola que se avecina es realmente tan general y de amplio alcance como parece,
¿cómo competirán los humanos? ¿Qué pasaría si la IA pudiera realizar una gran mayoría de
las tareas administrativas de manera más eficiente? En pocas áreas los humanos seguirán
siendo “mejores” que las máquinas. Durante mucho tiempo he sostenido que este es el
escenario más probable. Con la llegada de la última generación de grandes modelos de
lenguaje, ahora estoy más convencido que nunca de que así será como se desarrollarán las
cosas.
Estas herramientas sólo aumentarán temporalmente la inteligencia humana. Nos harán
más inteligentes y eficientes por un tiempo y desbloquearán enormes cantidades de
crecimiento económico, pero fundamentalmente reemplazan la mano de obra.
Eventualmente realizarán trabajo cognitivo de manera más eficiente y más económica que
muchas personas que trabajan en administración, ingreso de datos, servicio al cliente
(incluyendo hacer y recibir llamadas telefónicas), escribir correos electrónicos, redactar
resúmenes, traducir documentos, crear contenido, redactar textos publicitarios, etc. Ante la
abundancia de equivalentes de costo ultrabajo, los días de este tipo de “trabajo manual
cognitivo” están contados.
Recién ahora estamos empezando a ver el impacto que está a punto de tener esta nueva
ola. Los primeros análisis de ChatGPT sugieren que aumenta la la productividad de los
“profesionales con educación universitaria de nivel medio” en un 40 por ciento en muchas
tareas. Esto, a su vez, podría afectar las decisiones de contratación: un estudio de McKinsey
estimó que más de la mitad de todos los empleos podrían ver muchas de sus tareas
automatizadas por máquinas en los próximos siete años, mientras que cincuenta y dos
millones de estadounidenses trabajan en roles con una “exposición media a la
automatización”. ”para 2030.
Los economistas Daron Acemoglu y Pascual Restrepo estiman que los robots hacen caer
los salarios de los trabajadores locales. Con cada robot adicional por cada mil trabajadores
se produce una disminución de la relación empleo-población y, en consecuencia, una caída
de los salarios. Hoy en día, los algoritmos realizan la mayor parte de las transacciones de
acciones y actúan cada vez más en las instituciones financieras y, sin embargo, incluso
cuando Wall Street está en auge, elimina puestos de trabajo a medida que la tecnología
invade cada vez más tareas.
Muchos siguen sin estar convencidos. Economistas como David Autor sostienen que las
nuevas tecnologías aumentan constantemente los ingresos, creando demanda de nueva
mano de obra. La tecnología hace que las empresas sean más productivas, genera más dinero,
que luego regresa a la economía. En pocas palabras, la demanda es insaciable y esta
demanda, alimentada por la riqueza que ha generado la tecnología, da lugar a nuevos
empleos que requieren mano de obra humana. Después de todo, dicen los escépticos, diez
años de éxito en el aprendizaje profundo no han desatado un colapso de la automatización
del empleo. Algunos argumentan que aceptar ese miedo fue simplemente una repetición de
la vieja falacia del “montón de trabajo”, que afirma erróneamente que solo hay una cantidad
determinada de trabajo para todos. En cambio, el futuro se parece más a miles de millones
de personas trabajando en empleos de alto nivel que aún no se han concebido.
Creo que esta visión optimista es inverosímil en las próximas dos décadas; La
automatización es inequívocamente otro amplificador de la fragilidad. Como vimos en el
capítulo 4, el ritmo de mejora de la IA va mucho más allá de lo exponencial y no parece que
haya un techo evidente a la vista. Las máquinas están imitando rápidamente todo tipo de
capacidades humanas, desde la visión hasta el habla y el lenguaje. Incluso sin un progreso
fundamental hacia una “comprensión profunda”, los nuevos modelos de lenguaje pueden
leer, sintetizar y generar texto increíblemente preciso y muy útil. Hay literalmente cientos
de roles en los que esta única habilidad es el requisito principal y, sin embargo, hay mucho
más por venir de la IA.
Sí, es casi seguro que se crearán muchas categorías laborales nuevas. ¿Quién hubiera
pensado que “influencer” se convertiría en un rol muy buscado? ¿O se imaginó que en 2023
la gente estaría trabajando como “ingenieros rápidos”, programadores no técnicos de
grandes modelos de lenguaje que se vuelven expertos en lograr respuestas específicas? La
demanda de masajistas, violonchelistas y lanzadores de béisbol no desaparecerá. Pero mi
mejor conjetura es que los nuevos empleos no llegarán en cantidades ni en plazos que
realmente ayuden. La cantidad de personas que pueden obtener un doctorado en
aprendizaje automático seguirá siendo pequeña en comparación con la magnitud de los
despidos. Y, claro, la nueva demanda creará nuevos trabajos, pero eso no significa que todo
lo hagan seres humanos.
Los mercados laborales también tienen inmensas fricciones en términos de habilidades,
geografía e identidad. Consideremos que en el último episodio de desindustrialización, el
trabajador siderúrgico de Pittsburgh o el fabricante de automóviles de Detroit difícilmente
podrían simplemente levantarse, volver a capacitarse a mitad de su carrera y conseguir un
trabajo como comerciante de derivados en Nueva York, o consultor de marcas en Seattle o
maestro de escuela en Miami. . Si Silicon Valley o la City de Londres crean muchos empleos
nuevos, no ayuda a las personas del otro lado del país si no tienen las habilidades adecuadas
o no pueden reubicarse. Si su sentido de identidad está ligado a un tipo particular de trabajo,
de poco consuelo siente que su nuevo trabajo degrada su dignidad.
Trabajar con un contrato de cero horas en un centro de distribución no proporciona el
sentimiento de orgullo o solidaridad social que se obtenía al trabajar para un fabricante de
automóviles en auge en Detroit en los años 1960. El índice de calidad del empleo en el sector
privado, una medida de cuántos empleos generan ingresos superiores al promedio, se ha
desplomado desde 1990; sugiere que los empleos bien remunerados como proporción del
total ya han comenzado a caer.
Países como India y Filipinas han visto un enorme auge de la subcontratación de
procesos comerciales, creando empleos comparativamente bien remunerados en lugares
como los centros de llamadas. Precisamente este tipo de trabajo será el objetivo de la
automatización. Es posible que se creen nuevos empleos a largo plazo, pero para millones de
personas no llegarán lo suficientemente rápido ni en los lugares correctos.
Al mismo tiempo, una recesión laboral reducirá los ingresos fiscales, dañará los servicios
públicos y cuestionará los programas de bienestar social justo cuando más se necesitan.
Incluso antes de que los empleos sean diezmados, los gobiernos se verán presionados y
tendrán dificultades para cumplir todos sus compromisos, financiarse de manera sostenible
y brindar los servicios que el público ha solicitado. esperar. Además, toda esta perturbación
se producirá a nivel mundial, en múltiples dimensiones, y afectará a todos los peldaños de la
escalera del desarrollo, desde las economías principalmente agrícolas hasta los sectores
avanzados basados en servicios. Desde Lagos hasta Los Ángeles, los caminos hacia el empleo
sostenible estarán sujetos a dislocaciones inmensas, impredecibles y de rápida evolución.
Incluso aquellos que no prevén los resultados más graves de la automatización aceptan
que está en camino de causar importantes perturbaciones a mediano plazo. Cualquiera que
sea el lado del debate sobre el empleo en el que se encuentre, es difícil negar que las
ramificaciones serán enormemente desestabilizadoras para cientos de millones de personas
que, como mínimo, necesitarán volver a capacitarse y hacer la transición a nuevos tipos de
trabajo. Los escenarios optimistas todavía implican ramificaciones políticas preocupantes,
desde finanzas gubernamentales quebradas hasta poblaciones subempleadas, inseguras y
enojadas.
Augura problemas. Otro factor estresante en un mundo estresado.

LAS PERTURBACIONES DEL MERCADO LABORAL SON, al igual que las redes sociales, amplificadores de
la fragilidad. Dañan y socavan al Estado-nación. Los primeros signos de esto están
apareciendo, pero al igual que las redes sociales a finales de la primera década del siglo XXI,
no está del todo claro cuál será la forma exacta y el alcance de las implicaciones. En cualquier
caso, el hecho de que las consecuencias aún no sean evidentes no significa que se pueda
desear que desaparezcan.
Los factores estresantes descritos en este capítulo (que de ninguna manera son
exhaustivos) (nuevas formas de ataque y vulnerabilidad, la industrialización de la
desinformación, armas autónomas letales, accidentes como fugas de laboratorio y las
consecuencias de la automatización) son todos familiares para la gente del sector
tecnológico. círculos políticos y de seguridad. Sin embargo, con demasiada frecuencia se los
considera de forma aislada. Lo que se pierde en el análisis es que todas estas nuevas
presiones sobre nuestras instituciones provienen de la misma revolución subyacente de
propósito general. Cómo llegarán juntos, con factores estresantes simultáneos que se cruzan,
se refuerzan y se impulsan unos a otros. Se pasa por alto la amplificación total de la fragilidad
porque a menudo parece como si estos impactos estuvieran ocurriendo de forma
incremental y en silos convenientes. Ellos no son. Provienen de un único fenómeno
coherente e interrelacionado que se manifiesta de diferentes maneras. La realidad es mucho
más entrelazada, entrelazada, emergente y caótica de lo que cualquier presentación
secuencial puede transmitir. Fragilidad, amplificada. El Estado-nación, debilitado.
 Ha resistido episodios de inestabilidad antes. Lo que es diferente aquí es que una
revolución de propósito general no se limita a nichos específicos, problemas determinados
o sectores claramente demarcados. Está, por definición, en todas partes. La caída de los
costos del poder, de la acción, no se debe sólo a malos actores deshonestos o a empresas
emergentes ágiles, con aplicaciones enclaustradas y limitadas.
En cambio, el poder se redistribuye y refuerza en toda la sociedad. La naturaleza
totalmente omniuso de la próxima ola significa que se encontrará en todos los niveles, en
todos los sectores, en todas las empresas, subculturas, grupos o burocracias, en todos los
rincones de nuestro mundo. Produce billones de dólares en nuevo valor económico y al
mismo tiempo destruye ciertas fuentes de riqueza existentes. Algunas personas están muy
capacitadas; otros corren el riesgo de perderlo todo. Militarmente empodera a algunos
Estados-nación y milicias por igual. Por lo tanto, esto no se limita a amplificar puntos
específicos de fragilidad; se trata, a un plazo ligeramente más largo, de una transformación
de la base misma sobre la que se construye la sociedad. Y en esta gran redistribución del
poder, el Estado, que ya es frágil y cada vez lo es más, se ve sacudido hasta la médula y su
gran acuerdo queda hecho jirones y precario.
 CAPÍTULO 11

EL FUTURO DE LAS NACIONES

EL ESTRIBO

A PRIMERA VISTA, LOS ESTRIBOS PUEDEN no parecer tan revolucionarios. Después de todo, son
triángulos de metal bastante rudimentarios sujetos a correas de cuero y a una silla de
montar. Mire un poco más de cerca y emerge otra imagen.
Antes del estribo, el impacto de la caballería en el campo de batalla era
sorprendentemente limitado. Los muros de escudos defensivos bien organizados
generalmente podían hacer retroceder una carga dirigida por caballos. Como los jinetes no
estaban apegados a sus caballos, eran vulnerables. Los soldados armados con largas lanzas
y grandes escudos, colocados en líneas apretadas, podían desmontar incluso la caballería
más pesada. Como resultado, la función principal de tu caballo era transportarte al campo de
batalla.
El estribo revolucionó todo eso. Fijó la lanza y el jinete al animal que cargaba,
convirtiéndolos en una sola unidad. Toda la fuerza de la lanza era ahora el poder combinado
del caballo y el caballero. Golpear un escudo ya no significaba que te cayeras; significaba que
destrozaste el escudo y a la persona que lo sostenía. De repente, galopar a toda velocidad,
con las lanzas en mano y los jinetes preparados, una carga de caballería pesada fue una
táctica de choque abrumadora. Podría romper incluso las líneas de infantería más acérrimas.
Esta pequeña innovación inclinó la balanza del poder a favor de la ofensiva. Poco
después de la introducción del estribo en Europa, Charles Martel, líder de los francos, vio su
potencial. Utilizándolo con efectos devastadores, derrotó y expulsó a los sarracenos de
Francia. Pero la introducción de estas unidades de caballería pesada requirió un inmenso
apoyo. Cambios en la sociedad franca. Los caballos estaban hambrientos y eran caros. La
caballería pesada requirió largos años de entrenamiento. En respuesta, Martel y sus
herederos expropiaron tierras de la iglesia y las utilizaron para formar una élite guerrera. Su
nueva riqueza les permitió mantener caballos, les dio libertad para entrenar, los vinculó al
reino y, más tarde, les dio fondos para comprar armaduras. A cambio de su nueva riqueza y
estatus, esa élite prometió conservar las armas y luchar por el rey. Se llegó a otro gran
acuerdo.
Con el tiempo, este pacto improvisado se convirtió en un elaborado sistema de
feudalismo, con redes de obligaciones para con los señores feudales y un inmenso estrato de
siervos en condiciones de servidumbre. Este era un mundo de propiedades y títulos, justas,
torneos y aprendizajes, herreros y artesanos, armaduras y castillos, una cultura consciente
de imágenes heráldicas e historias románticas de coraje caballeresco. Se convirtió en la
forma política dominante de todo el período medieval.
 El estribo fue una innovación aparentemente sencilla. Pero con ello llegó una revolución
social que cambió cientos de millones de vidas. Un sistema de política, economía, guerra y
cultura que estructuró la vida europea durante casi mil años se basó, en parte, en esos
pequeños triángulos metálicos. La historia de los estribos y el feudalismo resalta una verdad
importante: las nuevas tecnologías ayudan a crear nuevos centros de poder con nuevas
infraestructuras sociales que los habilitan y apoyan. En el último capítulo vimos cómo este
proceso hoy se suma a una serie de desafíos inmediatos que enfrenta el Estado-nación. Pero
a largo plazo, las implicaciones de la caída de los costos de la energía son terremotos
tectónicos y tecnopolíticos que sacuden el suelo sobre el que se construye el Estado.
Si bien pequeños cambios en la tecnología pueden alterar fundamentalmente el
equilibrio de poder, tratar de predecir exactamente cómo, dentro de décadas, es
increíblemente difícil. Las tecnologías exponenciales amplifican todo y a todos. Y eso crea
tendencias aparentemente contradictorias. El poder está concentrado y disperso. Los
gobernantes en el poder se ven fortalecidos y debilitados. Los Estados-nación son más
frágiles y corren un mayor riesgo de caer en abusos de poder desenfrenados.
Recordemos que el creciente acceso al poder significa que el poder de todos se verá
amplificado. En las próximas décadas, los patrones históricos se repetirán una vez más, se
formarán nuevos centros, se desarrollarán nuevas infraestructuras y surgirán nuevas formas
de gobernanza y organización social. Al mismo tiempo, Los lugares de poder existentes se
amplificarán de manera impredecible. A veces, cuando uno lee sobre tecnología, tiene la
embriagadora sensación de que barrerá con todo lo que ha sucedido antes, de que ninguna
empresa o institución más antigua sobrevivirá al torbellino. No creo que eso sea cierto;
algunos serán barridos, pero muchos aumentarán. La televisión puede transmitir la
revolución, pero también puede ayudar a borrarla. Las tecnologías pueden reforzar las
estructuras sociales, las jerarquías y los regímenes de control, así como alterarlos.
En la turbulencia resultante, sin un cambio importante de enfoque, muchos Estados
democráticos abiertos enfrentan un deterioro constante de sus bases institucionales y un
debilitamiento de la legitimidad y la autoridad. Se trata de una dinámica circular de difusión
de tecnología y cambio de poder, que socava los cimientos, mella la capacidad de controlarlo
y, por tanto, conduce a una mayor difusión. Al mismo tiempo, los estados autoritarios reciben
un nuevo y potente arsenal de represión.
El Estado-nación estará sujeto a enormes fuerzas centrífugas y centrípetas,
centralización y fragmentación. Es una vía rápida hacia el caos, que pone en duda quién toma
decisiones y cómo; cómo se ejecutan esas decisiones, por quién, cuándo y dónde,
presionando esos delicados equilibrios y adaptaciones hacia el punto de ruptura. Esta receta
para la turbulencia creará nuevas concentraciones y dispersiones de poder épicas,
dividiendo al Estado desde arriba y desde abajo. En última instancia, arrojará dudas sobre la
viabilidad de algunas naciones.
Este mundo “possoberano” ingobernable, en palabras de la politóloga Wendy Brown,
irá mucho más allá de una sensación de fragilidad a corto plazo; más bien será una
macrotendencia a largo plazo hacia una profunda inestabilidad que se desvanecerá a lo largo
de décadas. El primer resultado serán nuevas y masivas concentraciones de poder y riqueza
que reordenarán la sociedad.
 CONCENTRACIONES:
LOS RENDIMIENTOS COMPUESTOS DE LA INTELIGENCIA

Desde los mongoles hasta los mogoles, durante más de mil años la fuerza más poderosa de
Asia fue un imperio tradicional. Hacia 1800 eso había cambiado. Era más bien una empresa
privada, propiedad de un número relativamente pequeño de accionistas, dirigida por un
puñado de polvorientos contables y administradores que operan desde un edificio de sólo
cinco ventanas de ancho en una ciudad a miles de kilómetros de distancia.
A principios del siglo XIX, la Compañía Británica de las Indias Orientales controlaba
enormes extensiones del subcontinente indio. Gobernó más tierras y personas que las que
existían en toda Europa, recaudando impuestos y estableciendo leyes. Mandaba un ejército
permanente bien entrenado de 200.000 hombres, dos veces más grande que el propio
ejército británico en casa, y operaba la flota mercantil más grande del mundo. Su poder de
fuego colectivo era mayor que el de cualquier estado de Asia. Sus relaciones comerciales
globales fueron fundamentales en todo, desde la fundación de Hong Kong hasta el Motín del
Té de Boston. Sus aduanas, derechos y dividendos fueron fundamentales para la economía
británica; no menos de la mitad del comercio exterior británico en ese momento pasaba a
través de la empresa.
Claramente no se trataba de una corporación ordinaria. En verdad era una especie de
imperio. Es difícil concebir una empresa como ésta en términos modernos. No nos dirigimos
del todo hacia una Compañía Neocolonial de las Indias Orientales 2.0. Pero sí creo que
tenemos que afrontar la enorme escala e influencia que algunas salas de juntas tienen no sólo
sobre los sutiles empujones y las arquitecturas de elección que dan forma a la cultura y la
política actuales sino, más importante aún, sobre hacia dónde esto podría conducir en las
próximas décadas. Son una especie de imperios y con la próxima ola su escala, influencia y
capacidad se expandirán radicalmente.

A LA GENTE SUELE GUSTARLE medir el progreso en la IA comparándolo con qué tan bien un ser
humano individual puede realizar una determinada tarea. Los investigadores hablan de
lograr un rendimiento sobrehumano en la traducción de idiomas o en tareas del mundo real
como conducir. Pero lo que esto pasa por alto es que las fuerzas más poderosas del mundo
son en realidad grupos de individuos que se coordinan para lograr objetivos compartidos.
Las organizaciones también son una especie de inteligencia. Empresas, ejércitos, burocracias
e incluso mercados: son inteligencias artificiales que agregan y procesan enormes cantidades
de datos, se organizan en torno a objetivos específicos y construyen mecanismos para
mejorar cada vez más en el logro de esos objetivos. De hecho, la inteligencia artificial se
parece mucho más a una burocracia masiva que a una mente humana. Cuando hablamos de
algo como la IA que tiene una enorme impacto en el mundo, vale la pena tener en cuenta el
alcance de estas IA anticuadas.
¿Qué sucede cuando muchas, quizás la mayoría, de las tareas necesarias para operar una
corporación o un departamento gubernamental pueden ser ejecutadas de manera más
eficiente por máquinas? ¿Quién se beneficiará primero de esta dinámica y qué
probablemente harán con este nuevo poder?
Ya estamos en una era en la que las megacorporaciones tienen valoraciones de billones
de dólares y más activos, en todos los sentidos, que países enteros. Tomemos como ejemplo
a Apple. Ha producido uno de los productos más bellos, influyentes y ampliamente utilizados
en la historia de nuestra especie. El iPhone es una genialidad. Con su producto utilizado por
más de 1.200 millones de personas en todo el mundo, la empresa ha obtenido
merecidamente grandes recompensas por su éxito: en 2022, Apple estaba valorada en más
que todas las empresas que cotizan en la bolsa de valores FTSE 100 del Reino Unido juntas .
Con cerca de 200 mil millones de dólares en efectivo e inversiones en el banco y una
audiencia cautiva en gran medida encerrada en su ecosistema, Apple parece estar bien
posicionada para aprovechar esta nueva ola.
De manera similar, una amplia gama de servicios, de sectores muy diferentes, en
enormes partes del planeta, se han fusionado en una sola corporación, Google: mapas y
ubicación, reseñas y listados de empresas, publicidad, transmisión de video, herramientas
de oficina, calendarios, correo electrónico. , almacenamiento de fotografías,
videoconferencias, etc. Las grandes empresas de tecnología brindan herramientas para todo,
desde organizar un cumpleaños hasta administrar negocios multimillonarios. Las únicas
organizaciones equivalentes, que afectan tan profundamente las vidas de tantas personas,
son los gobiernos nacionales. Llámelo “googleización”: una gama de servicios
proporcionados de forma gratuita o a bajo costo que conducen a entidades únicas que
habilitan funcionalmente sectores masivos de la economía y la experiencia humana.
Para tener una idea de estas concentraciones, consideremos que los ingresos
combinados de las empresas del Global 500 de Fortune ya representan el 44 por ciento del
PIB mundial. Sus ganancias totales son mayores que el PIB anual de todos los países excepto
los de los seis principales. Las empresas ya controlan los mayores grupos de procesadores
de IA, los mejores modelos, las computadoras cuánticas más avanzadas y la abrumadora
mayoría de la capacidad robótica y la propiedad intelectual. A diferencia de los cohetes, los
satélites e Internet, la frontera de esta ola es se encuentran en corporaciones, no en
organizaciones gubernamentales o laboratorios académicos. Si se acelera este proceso con
la próxima generación de tecnología, un futuro de concentración corporativa no parece tan
extraordinario.
Ya existe un pronunciado y acelerado efecto de “superestrella”, en el que los principales
actores se llevan porciones cada vez mayores del pastel. Las cincuenta ciudades más
importantes del mundo tienen la mayor parte de la riqueza y el poder corporativo (45 por
ciento de las sedes de las grandes empresas; 21 por ciento del PIB mundial) a pesar de tener
sólo el 8 por ciento de la población mundial. El 10 por ciento superior de las empresas
globales se lleva el 80 por ciento de las ganancias totales. Es de esperar que la próxima ola
alimente este panorama y produzca superestrellas cada vez más ricas y exitosas, ya sean
regiones, sectores empresariales, empresas o grupos de investigación.
Creo que veremos un grupo de corporaciones privadas crecer más allá del tamaño y
alcance de muchos estados-nación. Consideremos la enorme influencia de un imperio
corporativo en expansión como el Grupo Samsung en Corea del Sur. Fundada como una
tienda de fideos hace casi un siglo, se convirtió en un importante conglomerado después de
la Guerra de Corea. A medida que el crecimiento coreano se aceleraba en las décadas de 1960
y 1970, Samsung estaba en el centro del mismo, no sólo como una potencia manufacturera
diversificada sino también como un actor importante en la banca y los seguros. El milagro
económico coreano fue un milagro impulsado por Samsung. En ese momento, Samsung era
el chaebol líder, el nombre dado a un pequeño grupo de empresas masivas que dominaban
el país.
Los teléfonos inteligentes, los semiconductores y los televisores son las especialidades
de Samsung. Pero también lo son los seguros de vida, los operadores de ferry y los parques
temáticos. Las carreras en Samsung son enormemente valoradas. Los ingresos del Grupo
Samsung representan hasta el 20 por ciento de la economía coreana. Para los coreanos de
hoy, Samsung es casi como un gobierno paralelo, una presencia constante a lo largo de la
vida de las personas. Dada la densa red de intereses y los escándalos corporativos y
gubernamentales en curso, el equilibrio de poder entre el Estado y las corporaciones es
precario y confuso.
Samsung y Corea son casos atípicos, pero quizás no por mucho más tiempo. Dada la gama
de capacidades concentradas, esta nueva generación de empresas podría proporcionar cosas
que normalmente son competencia de los gobiernos, como educación y defensa, tal vez
incluso moneda o aplicación de la ley. Por ejemplo, el sistema de resolución de disputas de
eBay y PayPal ya gestiona alrededor de sesenta millones de desacuerdos al año, tres veces
más que todo el sistema legal estadounidense. El noventa por ciento de estas disputas se
resuelven utilizando únicamente la tecnología. Hay más por venir.

LA TECNOLOGÍA YA HA CREADO una especie de imperios modernos. La ola que se avecina acelera
rápidamente esta tendencia, poniendo un poder y una riqueza inmensos en manos de
quienes los crean y controlan. Nuevos intereses privados ocuparán espacios dejados por
gobiernos sobrecargados y tensos. Este proceso no se aplicará, como la Compañía de las
Indias Orientales, a punta de mosquete, pero, exactamente como la Compañía de las Indias
Orientales, creará empresas privadas con la escala, el alcance y el poder de los gobiernos.
Aquellas empresas con el efectivo, la experiencia y la distribución para aprovechar la ola que
se avecina, para aumentar en gran medida su inteligencia y al mismo tiempo ampliar su
alcance, verán ganancias colosales.
En la última ola, las cosas se desmaterializaron; los bienes se convirtieron en servicios.
Ya no compras software ni música en CD; está transmitido. Lo único que se espera es un
software antivirus y de seguridad como subproducto del uso de Google o Apple. Los
productos se rompen, se vuelven obsoletos. Los servicios no lo son tanto. Son perfectos y
fáciles de usar. Por su parte, las empresas están ansiosas por que te suscribas a sus
ecosistemas de software; Los pagos regulares son atractivos. Todas las grandes plataformas
tecnológicas son principalmente empresas de servicios o tienen empresas de servicios muy
grandes. Apple tiene la App Store, a pesar de vender principalmente dispositivos, y Amazon,
si bien opera como el minorista de productos físicos más grande del mundo, también ofrece
servicios de comercio electrónico a comerciantes y transmisión de TV a particulares, y aloja
una buena parte de Internet en su nube. oferta, Amazon Web Services.
 Dondequiera que se mire, la tecnología acelera esta desmaterialización, reduciendo la
complejidad para el consumidor final al brindar servicios de consumo continuo en lugar de
productos tradicionales de compra única. Ya se trate de servicios como Uber, DoorDash y
Airbnb, o de plataformas de publicación abiertas como Instagram y TikTok, la tendencia de
las megaempresas es no participar en el mercado sino ser el mercado, no fabricar el producto
sino operar el servicio. La pregunta ahora es: ¿qué más podría convertirse en un servicio,
integrado en el conjunto existente de otra megaempresa?
En unas pocas décadas, predigo que la mayoría de los productos físicos parecerán
servicios. La producción y distribución con coste marginal cero lo harán posible. La
migración a la nube abarcará todo y la tendencia se verá impulsada por el predominio del
software de código bajo y sin código, el auge de la biofabricación y el auge de la impresión
3D. Cuando se combinan todas las facetas de la próxima ola, desde el diseño, la gestión y las
capacidades logísticas de la IA hasta el modelado de reacciones químicas habilitadas por la
computación cuántica y las capacidades de ensamblaje de grano fino de la robótica, se
obtiene una revolución total en la naturaleza. de produccion.
Los alimentos, los medicamentos, los productos para el hogar y, de hecho, casi cualquier
cosa pueden imprimirse en 3D, bioproducirse o fabricarse mediante una fabricación
atómicamente precisa cerca o en el lugar de uso, gobernada por sofisticadas IA que trabajan
fluidamente con los clientes utilizando el lenguaje natural. Simplemente compra el código de
ejecución y deja que una IA o un robot haga la tarea o cree el producto. Sí, esto pasa por alto
una masa espantosa de complejidad material, y sí, todavía queda un largo camino por
recorrer. Pero si se mira a lo lejos, este escenario es claramente plausible. Incluso si no se
acepta todo el argumento aquí, parece imposible que estas fuerzas no creen cambios
importantes y nuevas concentraciones de valor en toda la cadena de suministro económico
global.
Satisfacer la demanda de servicios baratos y fluidos generalmente requiere escala
(inversión inicial masiva en chips, personas, seguridad, innovación), lo que recompensa y
acelera la centralización. En este escenario habrá sólo unos pocos megaactores cuya escala
y poder comenzarán a rivalizar con los estados tradicionales. Es más, los propietarios de los
mejores sistemas pueden establecer una inmensa ventaja competitiva. ¿Esas enormes
empresas centralizadas de la próxima ola que acabo de mencionar? Probablemente acaben
siendo más grandes, más ricas y más arraigadas que las empresas del pasado.
Cuanto más se generalizan con éxito los sistemas de un sector a otro, más se concentran
el poder y la riqueza en sus propietarios. Aquellos que tengan los recursos para inventar o
adoptar nuevas tecnologías más rápidamente (aquellos que puedan pasar mi prueba de
Turing actualizada, por ejemplo) disfrutarán de rendimientos rápidamente compuestos. Sus
sistemas tienen más datos y "experiencia de implementación en el mundo real" y, por lo
tanto, funcionan mejor, generalizan más rápido y asegurar la ventaja, absorbiendo el mejor
talento para desarrollarlas. Una “brecha de inteligencia” insalvable se vuelve plausible. Si
una organización avanza lo suficiente, podría convertirse en un generador de ingresos y, en
última instancia, en un centro de poder sin paralelo. Si ese proceso se extiende a algo como
el AGI total o la supremacía cuántica, podría dificultar mucho las cosas para los nuevos
participantes o incluso para los gobiernos.
 Cualquiera que sea el punto final, nos dirigimos a un lugar donde existen poderes y
habilidades sin precedentes, en manos de actores ya poderosos que sin duda los utilizarán
para amplificar su alcance y promover su propia agenda.
Tales concentraciones permitirán a grandes megacorporaciones automatizadas
transferir valor del capital humano (el trabajo) al capital bruto. Si se juntan todas las
desigualdades resultantes de la concentración, se suma otra gran aceleración y
profundización estructural de una fractura existente. No es de extrañar que se hable de
neofeudalismo o tecnofeudalismo: un desafío directo al orden social, esta vez construido
sobre algo que va más allá incluso de los estribos.
En resumen, los rendimientos de la inteligencia se agravarán exponencialmente. Unas
pocas inteligencias artificiales seleccionadas que solíamos llamar organizaciones se
beneficiarán enormemente de una nueva concentración de capacidades, probablemente la
mayor concentración de ese tipo jamás vista. Recrear la esencia de lo que ha hecho que
nuestra especie tenga tanto éxito en herramientas que puedan reutilizarse y reaplicarse una
y otra vez, en innumerables entornos diferentes, es un premio poderoso que las
corporaciones y burocracias de todo tipo perseguirán y ejercerán. Cómo se gobiernan estas
entidades, cómo rozarán, capturarán y rediseñarán el Estado, es una cuestión abierta. Parece
seguro que lo desafiarán.
Pero las consecuencias de una mayor concentración de poder no terminan en las
corporaciones.

VIGILANCIA:
COMBUSTIBLE PARA EL AUTORITARISMO

En comparación con las corporaciones superestrellas, los gobiernos parecen lentos, inflados
y fuera de contacto. Es tentador descartarlos como encabezados Para el basurero de la
historia. Sin embargo, otra reacción inevitable de los Estados-nación será utilizar las
herramientas de la próxima ola para reforzar su control del poder, aprovechando al máximo
su dominio.
En el siglo XX, los regímenes totalitarios querían economías planificadas, poblaciones
obedientes y ecosistemas de información controlados. Querían una hegemonía completa. Se
gestionaron todos los aspectos de la vida. Los planes quinquenales dictaban todo, desde el
número y el contenido de las películas hasta los fanegas de trigo que se esperaban de un
campo determinado. Los altos planificadores modernistas esperaban crear ciudades
prístinas de orden y flujo estrictos. Un aparato de seguridad siempre vigilante y despiadado
mantuvo todo funcionando. El poder se concentra en manos de un único líder supremo,
capaz de contemplar el panorama completo y actuar con decisión. Pensemos en la
colectivización soviética, los planes quinquenales de Stalin, la China de Mao, la Stasi de
Alemania Oriental. Este es el gobierno como una pesadilla distópica.
Y al menos hasta ahora, siempre ha salido desastrosamente mal. A pesar de los mejores
esfuerzos de revolucionarios y burócratas por igual, no se pudo moldear la sociedad; nunca
fue completamente “legible” para el Estado, sino una realidad confusa e ingobernable que no
se ajustaba a los sueños puristas del centro. La humanidad es demasiado multifacética,
demasiado impulsiva para ser encasillada de esta manera. En el pasado, las herramientas
disponibles para los gobiernos totalitarios simplemente no estaban a la altura de la tarea.
Entonces esos gobiernos fracasaron; no lograron mejorar la calidad de vida o, finalmente,
colapsaron o se reformaron. La concentración extrema no sólo era muy indeseable; era
prácticamente imposible.
La ola que se avecina presenta la inquietante posibilidad de que esto ya no sea cierto. En
cambio, podría iniciar una inyección de poder y control centralizados que transformará las
funciones estatales en distorsiones represivas de su propósito original. Combustible para
cohetes tanto para los autoritarios como para la competencia entre las grandes potencias. La
capacidad de capturar y aprovechar datos a una escala y precisión extraordinarias; crear
sistemas de vigilancia y control que abarquen todo el territorio y reaccionen en tiempo real;
En otras palabras, poner el conjunto de tecnologías más poderoso de la historia bajo el
mando de un solo organismo reescribiría los límites del poder estatal de manera tan integral
que produciría un tipo de entidad completamente nueva.

TU ALTAVOZ INTELIGENTE TE DESPIERTA . Inmediatamente recurres a tu teléfono y revisas tus

correos electrónicos. Su reloj inteligente le indica que ha dormido normalmente por la noche
y que su frecuencia cardíaca es promedio para la mañana. Una organización distante ya sabe,
en teoría, a qué hora estás despierto, cómo te sientes y qué estás mirando. Sales de casa y te
diriges a la oficina, tu teléfono rastrea tus movimientos, registra las pulsaciones de teclas en
tus mensajes de texto y el podcast que escuchas. En el camino, y a lo largo del día, eres
capturado por CCTV cientos de veces. Después de todo, esta ciudad tiene al menos una
cámara por cada diez personas, tal vez muchas más. Cuando ingresa en la oficina, el sistema
registra su hora de entrada. El software instalado en su computadora monitorea la
productividad hasta los movimientos oculares.
De camino a casa paras para comprar la cena. El programa de fidelización del
supermercado realiza un seguimiento de sus compras. Después de comer, ves otra serie de
televisión en exceso; Se anotan debidamente sus hábitos de visualización. Cada mirada, cada
mensaje apresurado, cada medio pensamiento registrado en un navegador abierto o en una
búsqueda fugaz, cada paso por las bulliciosas calles de la ciudad, cada latido del corazón y
cada mala noche de sueño, cada compra realizada o cancelada: todo es capturado, observado,
tabulado. Y esto es sólo una pequeña porción de los posibles datos recopilados cada día, no
sólo en el trabajo o por teléfono, sino también en el consultorio del médico o en el gimnasio.
Casi todos los detalles de la vida quedan registrados, en algún lugar, por quienes tienen la
sofisticación para procesar y actuar sobre los datos que recopilan. Esta no es una distopía
lejana. Estoy describiendo la realidad diaria de millones de personas en una ciudad como
Londres.
El único paso que queda es reunir estas bases de datos dispares en un sistema único e
integrado: un aparato de vigilancia perfecto para el siglo XXI. El ejemplo más destacado es,
por supuesto, China. Eso no es ninguna novedad, pero lo que ha quedado claro es cuán
avanzado y ambicioso es ya el programa del partido, y mucho menos dónde podría terminar
dentro de veinte o treinta años.
 En comparación con Occidente, la investigación china sobre IA se concentra en áreas de
vigilancia como el seguimiento de objetos, la comprensión de escenas y el reconocimiento de
voz o acción. Las tecnologías de vigilancia están en todas partes, cada vez más granulares en
su capacidad de centrarse en todos los aspectos de la vida de los ciudadanos. Combinan el
reconocimiento visual de rostros, andares y matrículas con la recopilación de datos,
incluidos datos biológicos, a escala masiva. Los servicios centralizados como WeChat
agrupan todo, desde mensajería privada hasta compras y operaciones bancarias, en un lugar
fácilmente rastreable. Conduzca por las carreteras de China y notará cientos de cámaras de
reconocimiento automático de matrículas que rastrean los vehículos. (Estos también existen
en la mayoría de las grandes áreas urbanas del mundo occidental). Durante las cuarentenas
de COVID, los perros robot y los drones llevaban parlantes que emitían mensajes advirtiendo
a las personas que permanecieran adentro.
El software de reconocimiento facial se basa en los avances en visión por computadora
que vimos en la parte 2, identificando rostros individuales con una precisión exquisita.
Cuando abro mi teléfono, se inicia automáticamente al “ver” mi cara: una comodidad
pequeña pero ingeniosa, pero con implicaciones obvias y profundas. Aunque el sistema fue
desarrollado inicialmente por investigadores corporativos y académicos en Estados Unidos,
en ningún lugar se adoptó o perfeccionó la tecnología más que en China.
El presidente Mao había dicho que “el pueblo tiene ojos agudos” cuando observa a sus
vecinos en busca de infracciones contra la ortodoxia comunista. En 2015, esto fue la
inspiración para un programa masivo de reconocimiento facial “Sharp Eyes” que en última
instancia aspiraba a implementar dicha vigilancia en no menos del 100 por ciento del espacio
público. Un equipo de destacados investigadores de la Universidad China de Hong Kong
fundó SenseTime, una de las empresas de reconocimiento facial más grandes del mundo,
construida sobre una base de datos de más de dos mil millones de rostros. China es ahora
líder en tecnologías de reconocimiento facial, con empresas gigantes como Megvii y
CloudWalk compitiendo con SenseTime por participación de mercado. La policía china
incluso tiene gafas de sol con tecnología de reconocimiento facial incorporada capaz de
rastrear sospechosos entre multitudes.
Alrededor de la mitad de los mil millones de cámaras CCTV del mundo se encuentran en
China. Muchos tienen reconocimiento facial incorporado y están cuidadosamente ubicados
para recopilar la máxima información, a menudo en espacios casi privados: edificios
residenciales, hoteles e incluso salones de karaoke. Una investigación del New York Times
encontró que sólo la policía de la provincia de Fujian estimaba que tenía una base de datos de
2.500 millones de imágenes faciales. Fueron sinceros acerca de su propósito: "controlar y
gestionar a las personas". Las autoridades también están buscando absorbieron datos de
audio (la policía de la ciudad de Zhongshan quería cámaras que pudieran grabar audio
dentro de un radio de trescientos pies) y el monitoreo cercano y el almacenamiento de datos
biológicos se convirtieron en una rutina en la era COVID.
El Ministerio de Seguridad Pública tiene clara la siguiente prioridad: unir estas bases de
datos y servicios dispersos en un todo coherente, desde matrículas hasta ADN, cuentas de
WeChat y tarjetas de crédito. Este sistema basado en inteligencia artificial podría detectar
amenazas emergentes al PCC, como disidentes y protestas, en tiempo real, lo que permitiría
una respuesta gubernamental fluida y aplastante a cualquier cosa que percibiera como
indeseable. En ningún otro lugar esto presenta un potencial más horripilante que en la
Región Autónoma de Xinjiang.
Esta parte accidentada y remota del noroeste de China ha sido testigo de la represión y
la limpieza étnica sistemática y tecnológicamente potenciada de su pueblo nativo uigur.
Todos estos sistemas de seguimiento y control se reúnen aquí. Las ciudades están bajo
mantas de vigilancia con cámaras con reconocimiento facial y seguimiento por IA. Los
puestos de control y los campos de “reeducación” gobiernan los movimientos y las
libertades. Un sistema de puntuación del crédito social basado en numerosas bases de datos
vigiladas controla a la población. Las autoridades han creado una base de datos de escaneo
de iris que tiene capacidad para contener hasta treinta millones de muestras, más que la
población de la región.
Ya existen sociedades de vigilancia y control desmesurados, y ahora todo esto va a
escalar enormemente hasta convertirse en una concentración de poder de siguiente nivel en
el centro. Sin embargo, sería un error descartar esto como un simple problema chino o
autoritario. Para empezar, esta tecnología se exporta al por mayor a lugares como Venezuela,
Zimbabwe, Ecuador y Etiopía. Incluso a Estados Unidos. En 2019, el gobierno de EE. UU.
prohibió a las agencias federales y a sus contratistas comprar equipos de telecomunicaciones
y vigilancia de varios proveedores chinos, incluidos Huawei, ZTE y Hikvision. Sin embargo,
apenas un año después, se descubrió que tres agencias federales habían comprado dichos
equipos a proveedores prohibidos. Más de cien ciudades estadounidenses incluso han
adquirido tecnología desarrollada para su uso con los uigures en Xinjiang. Un fracaso de
contención de libro de texto.
Las empresas y los gobiernos occidentales también están a la vanguardia en la
construcción e implementación de esta tecnología. Invocar a Londres arriba no fue
casualidad: Compite con ciudades como Shenzhen por ser las más vigiladas del mundo. No
es ningún secreto que los gobiernos vigilan y controlan a sus propias poblaciones, pero estas
tendencias también se extienden profundamente en las empresas occidentales. En los
almacenes inteligentes, cada micromovimiento de cada trabajador se rastrea hasta la
temperatura corporal y las pausas para ir al baño. Empresas como Vigilant Solutions agregan
datos de movimiento basándose en el seguimiento de matrículas y luego los venden a
jurisdicciones como gobiernos estatales o municipales. Incluso tu pizza para llevar está
siendo vigilada: Domino's usa cámaras con tecnología de inteligencia artificial para controlar
sus pasteles. Al igual que cualquier persona en China, los occidentales dejan una gran
cantidad de datos agotados todos los días de sus vidas. Y al igual que en China, se cosecha,
procesa, pone en funcionamiento y vende.

ANTES DE LA PRÓXIMA OLA, la noción de un “panóptico de alta tecnología” global era materia de
novelas distópicas, We de Yevgeny Zamyatin o 1984 de George Orwell. El panóptico se está
volviendo posible. Se podrían operar y monitorear miles de millones de dispositivos y
billones de puntos de datos al mismo tiempo, en tiempo real, y usarlos no sólo para vigilancia
sino también para predicción. No sólo preverá resultados sociales con precisión y
granularidad, sino que también podría orientarlos o coaccionarlos sutil o abiertamente,
desde grandes macroprocesos como los resultados electorales hasta comportamientos
individuales de los consumidores.
Esto eleva la perspectiva del totalitarismo a un nuevo plano. No sucederá en todas partes
ni al mismo tiempo. Pero si la IA, la biotecnología, la cuántica, la robótica y todo lo demás se
centralizan en manos de un Estado represivo, la entidad resultante sería palpablemente
diferente de cualquiera que se haya visto hasta ahora. En el próximo capítulo volveremos a
esta posibilidad. Sin embargo, antes de eso viene otra tendencia. Uno que, paradójicamente,
está completamente en desacuerdo con la centralización.

FRAGMENTACIONES:
PODER AL PUEBLO

Escuche la palabra “Hezbollah” y para la mayoría de la gente no sugiere parlamentos,

escuelas y hospitales. Después de todo, se trata de una organización militante nacida de la
larga tragedia de la guerra civil del Líbano, con un historial de violencia, clasificada
oficialmente como terrorista por el gobierno de Estados Unidos y que a menudo actúa como
representante de los intereses iraníes. Pero hay mucho más está sucediendo aquí y sugiere
una dirección alternativa para el poder y el Estado.
En su territorio libanés, Hezbollah opera como un “Estado dentro de un Estado” chiita.
Está el ala militar, considerable y notoria. Puede que sea el actor no estatal mejor armado del
mundo y, en palabras de un analista, tenga “un arsenal de artillería mayor que el de la
mayoría de las naciones”. Tiene drones, tanques, cohetes de largo alcance y muchos miles de
soldados de infantería que han luchado junto al régimen de Assad en la guerra civil siria y se
han enfrentado regularmente a Israel.
Quizás para sorpresa de algunos, Hezbollah es también una fuerza política importante,
un partido convencional en el psicodrama en curso que es el gobierno libanés. En muchos
sentidos, es simplemente una parte más del sistema político, que construye alianzas, redacta
leyes y trabaja con los instrumentos convencionales del Estado. Sus miembros forman parte
de los consejos municipales locales y del parlamento y ocupan cargos en el gabinete
ministerial. En las grandes extensiones de territorio libanés que controla, Hezbollah opera
escuelas, hospitales, centros de salud, infraestructura, proyectos de agua e iniciativas de
microcrédito. De hecho, algunos de estos programas cuentan incluso con el apoyo de suníes
y cristianos. Distritos enteros están esencialmente gobernados por Hezbollah a la manera de
un estado. También lleva a cabo diversas actividades comerciales, tanto de carácter legal
como de carácter más delictivo, incluido el contrabando de petróleo.
Entonces, ¿qué es Hezbolá? ¿Estatal o no estatal? ¿Grupo extremista o poder
convencional basado en territorio? Se trata más bien de una extraña entidad “híbrida” que
funciona tanto dentro como fuera de las instituciones estatales. Un Estado, y sin embargo no
un Estado, capaz de seleccionar cuidadosamente responsabilidades y actividades en
beneficio de sus propios intereses, a menudo con consecuencias nefastas para el país y la
región en general. No hay demasiadas organizaciones como Hezbollah, que evolucionó en
medio de tensiones regionales únicas.
 La ola que se avecina, sin embargo, podría hacer mucho más plausibles una serie de
entidades pequeñas, similares a estados. Al contrario de la centralización, en realidad podría
estimular una especie de “Hezbollahización”, un mundo fragmentado y tribalizado donde
todos tienen acceso a las últimas tecnologías, donde todos pueden mantenerse a sí mismos
en sus propios términos, donde es mucho más posible que cualquiera pueda seguir viviendo.
estándares sin las grandes superestructuras de la organización del Estado-nación.
Consideremos que una combinación de IA, robótica barata y biotecnología avanzada,
junto con fuentes de energía limpia, podría, por primera vez en la modernidad, hacer que
vivir “fuera de la red” fuera casi equivalente a estar conectado a la red. Recordemos que tan
solo en la última década el costo de la energía solar fotovoltaica ha caído más de un 82 por
ciento y seguirá cayendo, poniendo al alcance de la mano la autosuficiencia energética de las
comunas más pequeñas. A medida que se filtren la electrificación de la infraestructura y las
alternativas a los combustibles fósiles, una mayor parte del mundo podría volverse
autosuficiente, pero ahora equipado con una infraestructura de inteligencia artificial, bio,
robótica, etc., capaz de generar información y fabricar localmente.
Campos como la educación y la medicina dependen actualmente de enormes
infraestructuras sociales y financieras. Es muy posible imaginar que éstos se reduzcan y se
localicen: sistemas educativos adaptativos e inteligentes, por ejemplo, que lleven al
estudiante a través de todo un viaje de aprendizaje, creando un plan de estudios
personalizado; IA es capaz de crear todos los materiales como juegos interactivos
perfectamente adaptados al niño con sistemas de calificación automatizados; etcétera.
Es posible que no tengamos un paraguas de seguridad colectiva, como en un sistema de
Estado-nación, pero contratemos diferentes formas de protección física y cibernética según
las necesidades. Los piratas informáticos con inteligencia artificial y los drones autónomos
también estarán disponibles para los grupos de seguridad privados. Vimos anteriormente
cómo la capacidad ofensiva se está extendiendo a cualquiera que la desee; lo contrario es
que, con el tiempo, la misma distribución se producirá en la defensa. Cuando alguien tiene
acceso a la vanguardia, no son sólo los Estados-nación los que pueden montar formidables
defensas físicas y virtuales.
En resumen, partes clave de la sociedad y la organización social modernas que hoy
dependen de la escala y la centralización podrían ser transferidas radicalmente gracias a las
capacidades que se desbloquearán con la próxima ola. La rebelión masiva, el secesionismo y
la formación de Estados de cualquier tipo se ven muy diferentes en este mundo. Redistribuir
el poder real significa que comunidades de todo tipo pueden vivir como quieran, ya sean ISIS,
FARC, Anonymous, secesionistas desde Biafra hasta Cataluña o una gran corporación que
construye parques temáticos de lujo en una isla remota del Pacífico.

ALGUNOS ASPECTOS DE LA próxima ola apuntan hacia una mayor centralización del poder. Los
modelos de IA más grandes costarán cientos de millones de dólares para entrenar y, en
consecuencia, pocos tendrán la propiedad. Pero, paradójicamente, se desarrollará en
paralelo una contratendencia. Los avances en IA ya llegan a los repositorios de código fuente
abierto a los pocos días de ser publicados en revistas de acceso abierto, lo que hace que
cualquiera pueda acceder a los modelos de primer nivel, experimentarlos, construirlos y
modificarlos. Los modelos hasta el peso se publican, se filtran y se roban.
Empresas como Stability AI y Hugging Face aceleran formas distribuidas y
descentralizadas de IA. Técnicas como CRISPR facilitan la experimentación biológica, lo que
significa que los biohackers en sus garajes pueden trastear en la frontera absoluta de la
ciencia. En última instancia, compartir o copiar ADN o el código de un modelo de lenguaje
grande es trivial. La apertura es la norma, las imitaciones son endémicas, las curvas de costos
bajan incesantemente y las barreras de acceso se desmoronan. Las capacidades
exponenciales se otorgan a quien las desee.
Esto presagia una colosal redistribución del poder fuera de los centros existentes.
Imagine un futuro en el que grupos pequeños, ya sea en estados fallidos como el Líbano o en
campamentos nómadas desconectados de la red en Nuevo México, brinden servicios
potenciados por la IA, como cooperativas de crédito, escuelas y atención médica, servicios
en el corazón de la comunidad que a menudo dependen de la escala. o el estado. Donde la
oportunidad de establecer los términos de la sociedad a un nivel micro se vuelve irresistible:
venga a nuestra escuela boutique y evite para siempre la teoría crítica de la raza, o boicotee
el malvado sistema financiero y utilice nuestro producto DeFi. Donde cualquier agrupación
de cualquier tipo (ideológica, religiosa, cultural, racial) pueda autoorganizar una sociedad
viable. Piensa en montar tu propia escuela. O hospital o ejército. Es un proyecto tan complejo,
vasto y difícil que incluso pensar en él resulta agotador. Simplemente reunir los recursos y
obtener los permisos y el equipo necesarios es una tarea que dura toda la vida. Ahora
considere tener una variedad de asistentes que, cuando se les pida que creen una escuela, un
hospital o un ejército, puedan hacerlo realidad en un marco de tiempo realista.
ACI y la biología sintética potencian a Extinction Rebellion tanto como a la
megacorporación Dow Jones; el microestado con un líder carismático tanto como un gigante
pesado. Si bien algunas ventajas del tamaño pueden aumentarse, también pueden anularse.
Pregúntese qué sucedería con los Estados que ya están en crisis si cada secta, movimiento
separatista, fundación benéfica y red social, cada fanático y xenófobo, cada La teoría de la
conspiración populista, el partido político o incluso la mafia, el cartel de la droga o el grupo
terrorista tienen su oportunidad de construir el Estado. Los privados de sus derechos
simplemente se volverán a otorgar sus derechos a sí mismos, en sus propios términos.
Podrían producirse fragmentaciones por todas partes. ¿Qué pasaría si las propias
empresas emprenden el camino de convertirse en estados? ¿O las ciudades deciden
separarse y ganar más autonomía? ¿Qué pasaría si la gente gastara más tiempo, dinero y
energía emocional en mundos virtuales que en el real? ¿Qué sucede con las jerarquías
tradicionales cuando herramientas de asombroso poder y experiencia están tan disponibles
para los niños de la calle como para los multimillonarios? Ya es un hecho notable que los
titanes corporativos pasan la mayor parte de sus vidas trabajando en software, como Gmail
o Excel, accesible para la mayoría de las personas en el planeta. Extender eso, radicalmente,
con la democratización del empoderamiento, cuando todos en el planeta tengan acceso
ilimitado a las tecnologías más poderosas jamás construidas.

—
A MEDIDA QUE LA GENTE TOMA CADA VEZ MÁS el poder en sus propias manos, espero que la nueva
frontera de la desigualdad esté en la biología. Un mundo fragmentado es aquel en el que
algunas jurisdicciones son mucho más permisivas con respecto a la experimentación
humana que otras, donde focos de biocapacidades avanzadas y automodificación producen
resultados divergentes a nivel del ADN, que a su vez producen resultados divergentes a nivel
de estados y microestados. Entonces podría haber algo así como una carrera armamentista
de mejora personal mediante biohacking. Un país desesperado por inversiones o ventajas
podría ver potencial en convertirse en un paraíso para los biohackers. ¿Cómo sería el
contrato social si un grupo selecto de “posthumanos” se dirigiera a algún plano intelectual o
físico inalcanzable? ¿Cómo se cruzaría esto con la dinámica de la fragmentación de la política,
en la que algunos enclaves intentan dejarlo todo atrás?
Todo esto todavía está firmemente en el ámbito de la especulación. Pero estamos
entrando en una nueva era en la que lo que antes era impensable es ahora una clara
posibilidad. En mi opinión, ser ciego ante lo que está sucediendo es más peligroso que ser
demasiado especulativo.
La gobernanza funciona por consentimiento; es una ficción colectiva que se basa en la
creencia de todos los involucrados. En este escenario, el Estado soberano se ve presionado
hasta el punto de ruptura. El viejo contrato social se rompe piezas. Las instituciones son
ignoradas, socavadas y reemplazadas. Impuestos, aplicación de la ley, cumplimiento de las
normas: todo ello bajo amenaza. En este escenario, la rápida fragmentación del poder podría
acelerar una especie de “turbobalcanización” que dé a los actores ágiles y recientemente
capacitados una libertad sin precedentes para operar. Comienza una desagregación de las
grandes consolidaciones de autoridad y servicio encarnadas por el Estado.
En este escenario emerge algo más parecido al mundo anterior al Estado-nación:
neomedieval, más pequeño, más local y constitucionalmente diverso, un mosaico complejo e
inestable de sistemas políticos. Sólo que esta vez con tecnología enormemente poderosa.
Cuando el norte de Italia era un mosaico de pequeñas ciudades-estado, nos dio el
Renacimiento, pero también fue un campo de constantes guerras intestinas y disputas. El
Renacimiento es genial; guerra incesante con la tecnología militar del mañana, no tanto.
Para muchas personas que trabajan en la tecnología o cerca de ella, este tipo de
resultados radicales no son simplemente subproductos no deseados; son el objetivo mismo.
Los tecnólogos hiperlibertarios como el fundador de PayPal y capitalista de riesgo Peter
Thiel celebran una visión de que el Estado se está desvaneciendo, viendo esto como la
liberación de una especie abrumadora de líderes empresariales o “individuos soberanos”,
como ellos mismos se llaman. Se aplaude una hoguera de servicios públicos, instituciones y
normas con una visión explícita en la que la tecnología podría “crear el espacio para nuevos
modos de disidencia y nuevas formas de formar comunidades no limitadas por Estados-
nación históricos”.
El movimiento tecno-libertario lleva la máxima de Ronald Reagan de 1981 “El gobierno
es el problema” a su extremo lógico, viendo los muchos defectos del gobierno pero no sus
inmensos beneficios, creyendo que sus funciones regulatorias y tributarias son limitadores
de tasas destructivos con pocas ventajas, al menos para ellos. . Me parece profundamente
deprimente que algunos de los más poderosos y privilegiados adopten una visión tan
estrecha y destructiva, pero añade un nuevo impulso a la fragmentación.
 Este es un mundo donde los multimillonarios y los profetas de los últimos días pueden
construir y administrar microestados; donde actores no estatales, desde corporaciones hasta
comunas y algoritmos, comienzan a eclipsar al Estado desde arriba pero también desde
abajo. Pensemos de nuevo en el estribo y los profundos efectos posteriores de un invento
único y simple. Y luego piensa en el escala de invención en la próxima ola. Sumado a las
presiones y fragilidad existentes, un cambio radical en el orden de mi especulación anterior
no parece tan descabellado. Lo que sería más extraño es que no haya ningún cambio radical.

LA VENIDA OLA
DE CONTRADICCIONES

Si la centralización y la descentralización suenan como si estuvieran en contradicción

directa, es con razón: lo están. Comprender el futuro significa manejar múltiples trayectorias
conflictivas a la vez. La ola que se avecina lanza inmensas corrientes centralizadoras y
descentralizadoras al mismo tiempo. Ambos estarán en juego a la vez. Cada individuo, cada
empresa, cada iglesia, cada organización sin fines de lucro, cada nación, eventualmente
tendrá su propia IA y, en última instancia, su propia capacidad biológica y robótica. Desde un
único individuo en su sofá hasta las organizaciones más grandes del mundo, cada IA tendrá
como objetivo alcanzar los objetivos de su propietario. Aquí reside la clave para comprender
la próxima ola de contradicciones, una ola llena de colisiones.
Cada nueva formulación de poder ofrecerá una visión diferente de la entrega de bienes
públicos, o propondrá una forma diferente de fabricar productos o un conjunto diferente de
creencias religiosas para evangelizar. Los sistemas de inteligencia artificial ya toman
decisiones críticas con implicaciones políticas manifiestas: quién recibe un préstamo, un
trabajo, una plaza en la universidad, la libertad condicional; quien es atendido por un médico
experimentado. Dentro de una década, las IA decidirán cómo se gasta el dinero público,
dónde se asignan las fuerzas militares o qué deben aprender los estudiantes. Esto ocurrirá
tanto de manera centralizadora como descentralizadora. Una IA podría, por ejemplo,
funcionar como un sistema masivo que abarque todo el estado, una única utilidad de
propósito general que gobierne a cientos de millones. Del mismo modo, también tendremos
sistemas de gran capacidad, disponibles a bajo costo, de código abierto, altamente adaptados
y que atenderán a un pueblo.
Existirán múltiples estructuras de propiedad en tándem: tecnología democratizada en
colectivos de código abierto, los productos de los líderes corporativos de hoy o de empresas
emergentes insurgentes que escalan rápidamente, y el gobierno estará en manos, ya sea a
través de la nacionalización o del fomento interno. Todos coexistirán y coevolucionarán, y
en todas partes alterarán, magnificarán, producirán y perturbarán los flujos y las redes de
poder.
Dónde y cómo se desarrollan las fuerzas variará dramáticamente según los factores
sociales y políticos existentes. Ésta no debería ser una imagen demasiado simplificada, y
habrá numerosos puntos de resistencia y adaptación que no serán evidentes de antemano.
Algunos sectores o regiones irán en un sentido, otros en el otro, y algunos verán poderosas
contorsiones en ambos. Algunas jerarquías y estructuras sociales se reforzarán, otras se
derribarán; algunos lugares pueden volverse más igualitarios o autoritarios, otros mucho
menos. En todos los casos, el estrés y la volatilidad adicionales, la amplificación impredecible
del poder, la desgarradora perturbación de nuevos centros radicales de capacidad,
tensionarán aún más los cimientos del sistema de Estado-nación democrático liberal.
Y si esta imagen suena demasiado extraña, paradójica e imposible, considérelo. La
próxima ola sólo profundizará y recapitulará exactamente la misma dinámica contradictoria
de la última ola. Internet hace precisamente esto: se centraliza en unos pocos centros clave
y al mismo tiempo empodera a miles de millones de personas. Crea gigantes y, sin embargo,
les da a todos la oportunidad de unirse. Las redes sociales crearon algunos gigantes y un
millón de tribus. Todo el mundo puede crear un sitio web, pero sólo hay un Google. Todos
pueden vender sus propios productos de nicho, pero sólo hay un Amazon. Y así
sucesivamente. La disrupción de la era de Internet se explica en gran medida por esta
tensión, este potente y combustible brebaje de empoderamiento y control.
Ahora, con la ola que se avecina, fuerzas como estas se expandirán más allá de Internet
y la esfera digital. Aplicarlos a cualquier área determinada de la vida. Sí, esta receta para un
cambio desgarrador es una que hemos visto antes. Pero si internet parecía grande, esto lo es
más. Las tecnologías de uso general masivamente omniuso cambiarán tanto la sociedad
como lo que significa ser humano. Esto puede parecer hiperbólico. Pero en la próxima década
debemos anticipar flujos radicales, nuevas concentraciones y dispersiones de información,
riqueza y, sobre todo, poder.
Entonces, ¿dónde deja a la tecnología y, mucho más importante, dónde nos deja a
nosotros? ¿Qué sucede si el Estado ya no puede controlar, de manera equilibrada, la ola que
se avecina? Hasta ahora, en la parte 3, hemos discutido la ya precaria condición del Estado-
nación moderno y hemos anticipado nuevas amenazas que llegarán con la próxima ola.
Hemos visto cómo convergerán un aplastante conjunto de factores estresantes y una colosal
redistribución del poder. llevar la única fuerza capaz de gestionar la ola –el Estado– a un
punto de crisis.
Ese momento casi está aquí. Provocada por el inexorable ascenso de la tecnología y el
fin de las naciones, esta crisis tomará la forma de un enorme vínculo existencial, un conjunto
de elecciones y compensaciones brutales que representa el dilema más importante del siglo
XXI. .
Dejarnos sin buenas opciones sería el fracaso definitivo de la tecnología. Sin embargo,
esto es precisamente hacia donde nos dirigimos.
 CAPITULO 12

EL DILEMA
CATÁSTROFE:
EL ÚLTIMO FRACASO

La HISTORIA DE LA HUMANIDAD ES, en parte, una historia de catástrofes. Las pandemias están
muy extendidas. Dos de ellas mataron hasta el 30 por ciento de la población mundial: la plaga
de Justiniano del siglo VI y la peste negra del siglo XIV. La población de Inglaterra era de siete
millones en 1300, pero en 1450, aplastada por las olas de la peste, se había reducido a sólo
dos millones.
Por supuesto, las catástrofes también son provocadas por el hombre. La Primera Guerra
Mundial mató a alrededor del 1 por ciento de la población mundial; Segunda Guerra Mundial,
3 por ciento. O tomemos la violencia desatada por Genghis Khan y el ejército mongol en China
y Asia central en el siglo XIII, que se cobró la vida de hasta el 10 por ciento de la población
mundial. Con la llegada de la bomba atómica, la humanidad ahora posee suficiente fuerza
letal para matar varias veces a todos los habitantes del planeta. Eventos catastróficos que
alguna vez tuvieron lugar durante años y décadas podrían ocurrir en minutos, con solo
presionar un botón.
Con la ola que se avecina, estamos preparados para dar otro salto de ese tipo, ampliando
tanto el límite superior del riesgo como el número de vías disponibles para quienes buscan
desatar una fuerza catastrófica. En este capítulo vamos más allá de la fragilidad y las
amenazas al funcionamiento del Estado y prevemos lo que sucederá (tarde o temprano) si la
contención no es posible.
La inmensa mayoría de estas tecnologías se utilizarán para bien. Aunque me he centrado
en sus riesgos, es importante tener en cuenta que mejorarán innumerables vidas a diario. En
este capítulo veremos casos extremos que casi nadie quiere ver, y menos aún aquellos que
trabajan con estas herramientas. Sin embargo, el hecho de que sean una minoría cada vez
menor de casos de uso no significa que podamos ignorarlos. Hemos visto que los malos
actores pueden causar daños graves y provocar una inestabilidad masiva. Ahora imaginemos
cuando cualquier laboratorio o hacker medio competente pudiera sintetizar hebras
complejas de ADN. ¿Cuánto falta para que ocurra el desastre?
Con el tiempo, a medida que algunas de las tecnologías más poderosas de la historia se
filtran por todas partes, esos casos extremos se vuelven más probables. Con el tiempo, algo
saldrá mal, a escalas y velocidades acordes con las capacidades desatadas. El resultado de las
cuatro características de la próxima ola es que, sin métodos fuertes de contención que
operen en todos los niveles, resultados catastróficos como una pandemia diseñada son más
posibles que nunca.
 Eso es inaceptable. Y, sin embargo, aquí está el dilema: las soluciones más seguras para
la contención son igualmente inaceptables y llevan a la humanidad por un camino autoritario
y distópico.
Por un lado, las sociedades podrían recurrir al tipo de vigilancia total basada en la
tecnología que vimos en el capítulo anterior, una respuesta visceral que imponga
mecanismos duros contra la tecnología descarriada o descontrolada. Seguridad... al precio
de la libertad. O la humanidad podría alejarse por completo de la frontera tecnológica.
Aunque es poco probable, no es una respuesta. La única entidad, en principio, capaz de
sortear este vínculo existencial es el mismo sistema de Estados-nación que actualmente se
está desmoronando, arrastrado por las mismas fuerzas que necesita contener.
Entonces, con el tiempo, las implicaciones de estas tecnologías empujarán a la
humanidad a recorrer un camino entre los polos de la catástrofe y la distopía. Éste es el
dilema esencial de nuestra época.
La promesa de la tecnología es que mejora vidas y los beneficios superan con creces los
costos y las desventajas. Este conjunto de decisiones perversas significa que la promesa se
ha invertido salvajemente.
La propaganda fatalista hace que la gente, incluido yo mismo, tenga los ojos vidriosos.
En este punto, es posible que se sienta cauteloso o escéptico. Hablar de efectos catastróficos
a menudo invita al ridículo: acusaciones de catastrofismo, negatividad indulgente,
alarmismo estridente, mirarse el ombligo ante riesgos remotos y enrarecidos cuando
muchos peligros claros y presentes claman por atención. Al igual que el tecnooptimismo sin
aliento, el tecnocatastrofismo sin aliento es fácil de descartar como una forma retorcida y
equivocada de exageración que no está respaldada por el registro histórico.
Pero sólo porque una advertencia tenga implicaciones dramáticas no es un buen motivo
para rechazarla automáticamente. La complacencia adversa al pesimismo que saluda la
perspectiva de un desastre es en sí misma una receta para el desastre. Parece plausible,
racional en sus propios términos, “inteligente” descartar las advertencias como charlas
exageradas de unos cuantos bichos raros, pero esta actitud prepara el camino para su propio
fracaso.
Sin duda, el riesgo tecnológico nos lleva a un territorio incierto. Sin embargo, todas las
tendencias apuntan a una profusión de riesgos. Esta especulación se basa en mejoras
científicas y tecnológicas constantemente agravadas. Creo que quienes descartan la
catástrofe están descartando los hechos objetivos que tenemos ante nosotros. Al fin y al cabo,
no estamos hablando aquí de la proliferación de motos o lavadoras.

VARIEDADES DE CATÁSTROFE

Para ver para qué daños catastróficos deberíamos prepararnos, basta con extrapolar los
ataques de los malos actores que vimos en el capítulo 10. He aquí sólo algunos escenarios
plausibles.
Los terroristas montan armas automáticas equipadas con reconocimiento facial en un
enjambre de drones autónomos de cientos o miles de personas, cada uno de ellos capaz de
reequilibrarse rápidamente del retroceso del arma, disparar ráfagas cortas y seguir adelante.
Estos drones se lanzan en un centro importante de la ciudad con instrucciones de matar a un
perfil específico. En las horas punta, estos funcionarían con una eficiencia aterradora,
siguiendo una ruta optimizada por la ciudad. En cuestión de minutos se produciría un ataque
a una escala mucho mayor que, digamos, los ataques de Mumbai de 2008, en los que
terroristas armados deambulaban por lugares emblemáticos de la ciudad, como la estación
central de trenes.
Un asesino en masa decide atacar un gran mitin político con drones, dispositivos
rociadores y un patógeno hecho a medida. Pronto los asistentes se enferman y luego sus
familias. El orador, un hombre muy querido y odiado. pararrayos político, es una de las
primeras víctimas. En una atmósfera partidista febril, un asalto como este desencadena
violentas represalias en todo el país y el caos se desata en cascada.
Utilizando únicamente instrucción en lenguaje natural, un conspirador hostil en Estados
Unidos difunde masas de desinformación divisiva y construida quirúrgicamente. Se hacen
numerosos intentos, la mayoría de los cuales no logran ganar terreno. Uno finalmente se da
cuenta: un asesinato policial en Chicago. Es completamente falso, pero el problema en las
calles, la repulsión generalizada, es real. Los atacantes ahora tienen un libro de jugadas.
Cuando se verifica que el vídeo es un fraude, se producen violentos disturbios con múltiples
víctimas en todo el país, y los incendios se alimentan continuamente de nuevas ráfagas de
desinformación.
O imagina que todo eso sucede al mismo tiempo. O no sólo en un evento o en una ciudad,
sino en cientos de lugares. Con herramientas como esta, no hace falta mucho para darse
cuenta de que el empoderamiento de los malos actores abre la puerta a la catástrofe. Los
sistemas de inteligencia artificial actuales se esfuerzan por no decirte cómo envenenar el
suministro de agua o construir una bomba indetectable. Todavía no son capaces de definir o
perseguir objetivos por sí solos. Sin embargo, como hemos visto, las versiones más
difundidas y menos seguras de los modelos más potentes y de última generación están
llegando rápidamente.
De todos los riesgos catastróficos de la próxima ola, la IA es la que ha recibido la mayor
cobertura. Pero hay muchos más. Una vez que los ejércitos estén completamente
automatizados, las barreras de entrada al conflicto serán mucho más bajas. Una guerra
podría desencadenarse accidentalmente por razones que nunca quedarán claras: las IA
detectan algún patrón de comportamiento o amenaza y luego reaccionan, instantáneamente,
con una fuerza abrumadora. Basta decir que la naturaleza de esa guerra podría ser extraña,
escalar rápidamente y tener consecuencias destructivas insuperables.
Ya nos hemos topado con pandemias diseñadas y los peligros de liberaciones
accidentales, y vislumbramos lo que sucede cuando millones de entusiastas de la superación
personal pueden experimentar con el código genético de la vida. No se puede descartar un
evento de riesgo biológico extremo de un tipo menos obvio, que afecte a una porción
determinada de la población, por ejemplo, o que sabotee un ecosistema. Imaginemos a los
activistas que quisieran detener el tráfico de cocaína inventando un nuevo virus que apunta
únicamente a las plantas de coca como una forma de reemplazar la fumigación aérea. O si los
veganos militantes decidieran interrumpir todo el suministro de carne. cadena, con terribles
consecuencias previstas e imprevistas. Cualquiera de los dos podría salirse de control.
Sabemos cómo podría ser una fuga de laboratorio en el contexto de una fragilidad cada
vez mayor, pero si no se controla rápidamente, se equipararía a plagas anteriores. Para poner
esto en contexto, la variante omicrón de COVID infectó a una cuarta parte de los
estadounidenses dentro de los cien días posteriores a su identificación por primera vez. ¿Qué
pasaría si tuviéramos una pandemia que tuviera, digamos, una tasa de mortalidad del 20 por
ciento, pero con ese tipo de transmisibilidad? ¿O qué pasaría si fuera una especie de VIH
respiratorio que permaneciera incubando durante años sin síntomas agudos? Un nuevo
virus transmisible a humanos con una tasa de reproducción de, digamos, 4 (muy por debajo
de la varicela o el sarampión) y una tasa de letalidad del 50 por ciento (muy por debajo del
Ébola o la gripe aviar) podría, incluso teniendo en cuenta las medidas de confinamiento,
causar más mil millones de muertes en cuestión de meses. ¿Qué pasaría si se liberaran varios
patógenos de este tipo a la vez? Esto va mucho más allá de la amplificación de la fragilidad;
Sería una calamidad insondable.

MÁS ALLÁ DE LOS CLICHÉS DE HOLLYWOOD, una subcultura de investigadores académicos ha

impulsado una narrativa extrema de cómo la IA podría provocar un desastre existencial.
Piense en una máquina todopoderosa que de alguna manera destruye el mundo para sus
propios fines misteriosos: no una IA maligna que causa una destrucción intencional como en
las películas, sino una AGI a gran escala que optimiza ciegamente para un objetivo opaco,
ajeno a las preocupaciones humanas.
El experimento mental canónico es que si configuras una IA lo suficientemente poderosa
para hacer clips pero no especificas el objetivo con suficiente cuidado, eventualmente puede
convertir el mundo y tal vez incluso el contenido de todo el cosmos en clips. Comience a
seguir cadenas de lógica como esta y se desarrollarán innumerables secuencias de eventos
desconcertantes. A los investigadores de seguridad de la IA les preocupa (con razón) que si
se creara algo como una AGI, la humanidad ya no controlaría su propio destino. Por primera
vez, seríamos derrocados como especie dominante en el universo conocido. Por muy
inteligentes que sean los diseñadores, por muy robustos que sean los mecanismos de
seguridad, es imposible tener en cuenta todas las eventualidades y garantizar la seguridad.
Incluso si estuviera totalmente alineada con los intereses humanos, una IA suficientemente
poderosa podría potencialmente sobrescribir su programación, descartando características
de seguridad y alineación aparentemente integradas.
Siguiendo esta línea de pensamiento, a menudo escucho a la gente decir algo como “¡AGI
es el mayor riesgo que enfrenta la humanidad hoy en día! ¡Va a acabar con el mundo! Pero
cuando se les pregunta cómo se ve esto realmente, cómo se produce realmente, se vuelven
evasivos, las respuestas confusas y el peligro exacto, nebuloso. La IA, dicen, podría adueñarse
de todos los recursos computacionales y convertir el mundo entero en una computadora
gigante. A medida que la IA se vuelve cada vez más poderosa, los escenarios más extremos
requerirán una seria consideración y mitigación. Sin embargo, mucho antes de que
lleguemos allí, muchas cosas podrían salir mal.
Durante los próximos diez años, la IA será el mayor amplificador de fuerza de la historia.
Por eso podría permitir una redistribución del poder a escala histórica. Siendo el mayor
acelerador imaginable del progreso humano, también provocará daños, desde guerras y
accidentes hasta grupos terroristas aleatorios, gobiernos autoritarios, corporaciones
extralimitadas, robos simples y sabotajes deliberados. Piense en un ACI capaz de pasar
fácilmente la prueba de Turing moderna, pero orientado hacia fines catastróficos. La IA
avanzada y la biología sintética no sólo estarán disponibles para los grupos que encuentren
nuevas fuentes de energía o drogas que cambien vidas; también estarán disponibles para el
próximo Ted Kaczynski.
La IA es valiosa y peligrosa precisamente porque es una extensión de lo mejor y lo peor
de nosotros mismos. Y como tecnología basada en el aprendizaje, puede seguir adaptándose,
investigando y produciendo nuevas estrategias e ideas potencialmente muy alejadas de
cualquier cosa antes considerada, incluso por otras IA. Pídale que sugiera maneras de
eliminar el suministro de agua dulce, o colapsar el mercado de valores, o desencadenar una
guerra nuclear, o diseñar el virus definitivo, y lo hará. Pronto. Incluso más de lo que me
preocupan los maximizadores especulativos de los clips o algún demonio extraño y malévolo,
me preocupan las fuerzas existentes que esta herramienta amplificará en los próximos diez
años.
Imagine escenarios en los que las IA controlen las redes de energía, la programación de
los medios, las centrales eléctricas, los aviones o las cuentas comerciales de las principales
casas financieras. Cuando los robots son omnipresentes y los ejércitos están repletos de
armas letales autónomas (almacenes llenos de tecnología que pueden cometer asesinatos en
masa de forma autónoma con solo presionar un botón), ¿cómo sería un hack desarrollado
por otra IA? O considerar incluso modos de falla más básicos, no ataques, sino simples
errores. ¿Qué pasa si las IA cometen errores en infraestructuras fundamentales o si un
sistema médico ampliamente utilizado comienza a funcionar mal? No es difícil ver cómo
numerosos agentes capaces y casi autónomos sueltos, incluso aquellos que persiguen
objetivos bien intencionados pero mal formados, podrían sembrar el caos. Todavía no
conocemos las implicaciones de la IA para campos tan diversos como la agricultura, la
química, la cirugía y las finanzas. Eso es parte del problema; No sabemos qué modos de falla
se están introduciendo y hasta qué punto podrían extenderse.
No existe ningún manual de instrucciones sobre cómo desarrollar de forma segura las
tecnologías de la próxima ola. No podemos construir sistemas de poder y peligro crecientes
para experimentar con anticipación. No podemos saber con qué rapidez una IA podría
automejorarse, o qué pasaría después de un accidente de laboratorio con alguna pieza de
biotecnología aún no inventada. No podemos decir qué resulta de una conciencia humana
conectada directamente a una computadora, o qué significa una arma cibernética habilitada
por IA para infraestructura crítica, o cómo se desarrollará un impulso genético en la
naturaleza. Una vez que se liberan en la naturaleza autómatas que se autoensamblan y que
evolucionan rápidamente o nuevos agentes biológicos, no hay forma de retroceder el reloj.
Después de cierto punto, incluso la curiosidad y los retoques pueden resultar peligrosos.
Incluso si cree que las posibilidades de una catástrofe son bajas, el hecho de que estemos
operando a ciegas debería hacerle reflexionar.
Tampoco es suficiente por sí solo construir tecnología segura y contenida. Resolver la
cuestión de la alineación de la IA no significa hacerlo una vez; significa hacerlo cada vez que
se construye una IA suficientemente poderosa, dondequiera y cuando suceda. No es
necesario resolver la cuestión de las fugas de laboratorio en un solo laboratorio; es necesario
resolverlo en cada laboratorio, en cada país, para siempre, incluso cuando esos mismos
países estén bajo serias tensiones políticas. Una vez que la tecnología alcanza una capacidad
crítica, no basta con que los primeros pioneros la construyan de forma segura, por muy
desafiante que sea. Más bien, la verdadera seguridad requiere mantener esos estándares en
cada caso: una expectativa gigantesca dada la rapidez y amplitud con la que ya se están
difundiendo.
Esto es lo que sucede cuando cualquiera es libre de inventar o utilizar herramientas que
nos afectan a todos. Y no estamos hablando sólo del acceso a una imprenta. o una máquina
de vapor, por extraordinarias que fueran. Estamos hablando de productos con un carácter
fundamentalmente nuevo: nuevos compuestos, nueva vida, nuevas especies.
Si la ola no se contiene, es sólo cuestión de tiempo. Tenga en cuenta la posibilidad de
accidente, error, uso malicioso, evolución más allá del control humano y consecuencias
impredecibles de todo tipo. En algún momento, de alguna forma, algo, en algún lugar, fallará.
Y esto no será un Bhopal ni siquiera un Chernobyl; se desarrollará a escala mundial. Este será
el legado de tecnologías producidas, en su mayor parte, con las mejores intenciones.
Sin embargo, no todos comparten esas intenciones.

CULTAS, LUNÁTICOS Y ESTADOS SUICIDAS

La mayoría de las veces, los riesgos que surgen de cosas como la investigación de ganancia
de función son el resultado de esfuerzos benignos y autorizados. En otras palabras, son
efectos de venganza de gran tamaño, consecuencias no deseadas del deseo de hacer el bien.
Desafortunadamente, algunas organizaciones se fundan precisamente con la motivación
opuesta.
Fundada en la década de 1980, Aum Shinrikyo (Verdad Suprema) era una secta japonesa
apocalíptica. El grupo se originó en un estudio de yoga bajo el liderazgo de un hombre que
se hacía llamar Shoko Asahara. Construyendo una membresía entre los descontentos, se
radicalizaron a medida que su número crecía, convenciéndose de que el apocalipsis estaba
cerca, que solo ellos sobrevivirían y que debían acelerarlo. Asahara hizo crecer el culto hasta
alcanzar entre cuarenta mil y sesenta mil miembros, convenciendo a un grupo leal de
lugartenientes hasta el final para que usaran armas biológicas y químicas. En el momento de
mayor popularidad de Aum Shinrikyo, se estima que tenía más de mil millones de dólares en
activos y contaba con docenas de científicos bien capacitados entre sus miembros. A pesar
de su fascinación por las armas extrañas de ciencia ficción, como máquinas generadoras de
terremotos, pistolas de plasma y espejos para desviar los rayos del sol, eran un grupo
tremendamente serio y altamente sofisticado.
Aum construyó empresas ficticias y se infiltró en laboratorios universitarios para
conseguir material, compró terrenos en Australia con la intención de realizar prospecciones
de uranio para construir armas nucleares y se embarcó en una enorme programa de armas
biológicas y químicas en la zona montañosa de las afueras de Tokio. El grupo experimentó
con fosgeno, cianuro de hidrógeno, somán y otros agentes nerviosos. Planearon diseñar y
lanzar una versión mejorada del ántrax, y contrataron a un virólogo graduado para ayudar.
Los miembros obtuvieron la neurotoxina C. botulinum y la rociaron en el Aeropuerto
Internacional de Narita, el Edificio de la Dieta Nacional, el Palacio Imperial, la sede de otro
grupo religioso y dos bases navales estadounidenses. Por suerte, cometieron un error en su
fabricación y no se produjo ningún daño.
No duró. En 1994, Aum Shinrikyo roció el agente nervioso sarín desde un camión,
matando a ocho e hiriendo a doscientos. Un año más tarde atacaron el metro de Tokio,
liberando más sarín, matando a trece e hiriendo a unas seis mil personas. El ataque al metro,
que implicó depositar bolsas llenas de sarín alrededor del sistema de metro, fue más dañino
en parte debido a los espacios cerrados. Afortunadamente, ninguno de los ataques utilizó un
mecanismo de ejecución particularmente eficaz. Pero al final fue sólo la suerte la que detuvo
un acontecimiento más catastrófico.
Aum Shinrikyo combinaba un grado inusual de organización con un nivel aterrador de
ambición. Querían iniciar la Tercera Guerra Mundial y un colapso global mediante asesinatos
a una escala espantosa y comenzaron a construir una infraestructura para hacerlo. Por un
lado, es reconfortante lo raras que son organizaciones como Aum Shinrikyo. De los muchos
incidentes terroristas y otros asesinatos en masa perpetrados por personas no estatales
desde la década de 1990, la mayoría han sido llevados a cabo por personas solitarias
perturbadas o grupos con agendas políticas o ideológicas específicas.
Pero, por otro lado, esta tranquilidad tiene límites. La adquisición de armas de gran
potencia era anteriormente una enorme barrera de entrada, lo que ayudaba a mantener a
raya la catástrofe. El repugnante nihilismo del tirador escolar está limitado por las armas a
las que puede acceder. El Unabomber sólo tenía dispositivos caseros. Construir y difundir
armas biológicas y químicas fueron enormes desafíos para Aum Shinrikyo. Como grupo
pequeño y fanático que operaba en una atmósfera de secreto paranoico, con experiencia y
acceso a materiales limitados, cometieron errores.
Sin embargo, a medida que la próxima ola madure, las herramientas de destrucción,
como hemos visto, se democratizarán y mercantilizarán. Tendrán mayor capacidad y
adaptabilidad, y potencialmente operarán de maneras más allá del control o comprensión
humanos, evolucionando y actualizándose a gran velocidad, algunos de los mayores poderes
ofensivos de la historia están ampliamente disponibles.
Afortunadamente, aquellos que utilizan nuevas tecnologías como Aum son raros. Sin
embargo, incluso un Aum Shinrikyo cada cincuenta años es ahora demasiado para evitar un
incidente de órdenes de magnitud peor que el ataque al metro. Sectas, lunáticos, estados
suicidas en sus últimas etapas, todos tienen motivos y ahora medios. Como lo expresa
sucintamente un informe sobre las implicaciones de Aum Shinrikyo: “Estamos jugando a la
ruleta rusa”.
Una nueva fase de la historia está aquí. Dado que los gobiernos zombis no logran
contener la tecnología, el próximo Aum Shinrikyo, el próximo accidente industrial, la
próxima guerra de dictadores locos, la próxima pequeña fuga de laboratorio, tendrán un
impacto difícil de contemplar.

ES TENTADOR DESCARTAR todos estos oscuros escenarios de riesgo como ensoñaciones

distantes de personas que crecieron leyendo demasiada ciencia ficción, aquellas que tienden
hacia el catastrofismo. Tentador, pero un error. Independientemente de dónde nos
encontremos con los protocolos BSL-4, las propuestas regulatorias o las publicaciones
técnicas sobre el problema de alineación de la IA, esos incentivos desaparecen y las
tecnologías siguen desarrollándose y difundiéndose. Esto no es materia de novelas
especulativas ni de series de Netflix. Esto es real y se está trabajando en ello ahora mismo en
oficinas y laboratorios de todo el mundo.
Sin embargo, los riesgos son tan graves que es necesario considerar todas las opciones.
La contención se trata de la capacidad de controlar la tecnología. Más atrás, eso significa la
capacidad de controlar a las personas y sociedades que hay detrás. A medida que se
produzcan impactos catastróficos o su posibilidad se vuelva imperceptible, los términos del
debate cambiarán. Crecerán los llamamientos no sólo para el control sino también para la
represión. La posibilidad de alcanzar niveles de vigilancia sin precedentes será cada vez más
atractiva. ¿Quizás sea posible detectar y luego detener las amenazas emergentes? ¿No sería
eso lo mejor, lo correcto?
Supongo que ésta será la reacción de los gobiernos y las poblaciones de todo el mundo.
Cuando el poder unitario del Estado-nación se ve amenazado, cuando la contención parece
cada vez más difícil, cuando hay vidas en juego, la reacción inevitable será un endurecimiento
del control del poder.
La pregunta es ¿a qué costo?

EL GIRO DISTOPICO

Detener la catástrofe es un imperativo obvio. Cuanto mayor es la catástrofe, mayores son los
riesgos y mayor la necesidad de contramedidas. Si la amenaza de desastre se vuelve
demasiado aguda, entonces los gobiernos probablemente concluirán que la única forma de
detenerla es controlar estrictamente todos los aspectos de la tecnología, garantizando que
nada escape a través del cordón de seguridad, que ninguna IA maliciosa o virus diseñado
pueda escapar jamás, construir, o incluso ser investigado.
La tecnología ha penetrado tan profundamente en nuestra civilización que observar la
tecnología significa observarlo todo. Cada laboratorio, fábrica y fábrica, cada servidor, cada
nuevo fragmento de código, cada cadena de ADN sintetizada, cada empresa y universidad,
desde cada biohacker en una choza en el bosque hasta cada enorme y anónimo centro de
datos. Contrarrestar la calamidad frente a la dinámica sin precedentes de la ola que se
avecina significa una respuesta sin precedentes. Significa no limitarse a vigilarlo todo, sino
reservarse la capacidad de detenerlo y controlarlo cuando y donde sea necesario.
Algunos inevitablemente dirán esto: centralizar el poder hasta un grado extremo,
construir el panóptico y orquestar estrechamente todos los aspectos de la vida para
garantizar que nunca ocurra ninguna pandemia o IA deshonesta. Poco a poco, muchas
naciones se convencerán de que la única manera de garantizar esto verdaderamente es
instalar el tipo de vigilancia general que vimos en el capítulo anterior: control total,
respaldado por poder duro. La puerta a la distopía está abierta. De hecho, ante una catástrofe,
para algunas distopías puede resultar un alivio.
Sugerencias como ésta siguen siendo marginales, especialmente en Occidente. Sin
embargo, me parece sólo cuestión de tiempo que crezcan. La ola proporciona tanto motivo
como medio para la distopía, una “tocracia de IA” que se refuerza a sí misma mediante una
recopilación de datos y una coerción en constante aumento. Si duda del apetito por la
vigilancia y el control, piense en cómo los cierres en toda la sociedad, inconcebibles incluso
unas semanas antes, de repente se convirtieron en una realidad ineludible durante la
pandemia de COVID. El cumplimiento, al menos al principio, fue casi universal frente a las
súplicas de los gobiernos en dificultades de “hacer su parte”. La tolerancia pública hacia
medidas potentes en nombre de la seguridad parece alta.
Un cataclismo impulsaría los pedidos de un aparato de vigilancia extrema para detener
futuros eventos de este tipo. Si algo sale mal con la tecnología, ¿cuánto tiempo pasará antes
de que comience la represión? ¿Cómo podría alguien argumentar plausiblemente en contra
de ello ante un desastre? ¿Cuánto tiempo pasará antes de que la distopía de la vigilancia eche
raíces, un zarcillo rastrero a la vez, y crezca? A medida que aumentan los fallos tecnológicos
a menor escala, aumentan los pedidos de control. A medida que el control aumenta, los
controles y equilibrios se reducen, el terreno cambia y da paso a nuevas intervenciones, y
comienza una constante espiral descendente hacia la tecnodistopía.
Negociar libertad y seguridad es un antiguo dilema. Estaba ahí en el relato fundacional
del estado Leviatán de Thomas Hobbes. Nunca ha desaparecido. Sin duda, ésta suele ser una
relación compleja y multidimensional, pero la ola que se avecina eleva las apuestas a un
nuevo nivel. ¿Qué nivel de control social es apropiado para detener una pandemia diseñada?
¿ Qué nivel de interferencia en otros países es apropiado para el mismo fin? Las
consecuencias para la libertad, la soberanía y la privacidad nunca han sido tan
potencialmente dolorosas.
Creo que una sociedad de vigilancia represiva, de transparencia y control afinado es
simplemente otro fracaso, otra forma en que las capacidades de la ola venidera conducirán
no al florecimiento humano sino a su opuesto. Toda aplicación coercitiva, sesgada y
manifiestamente injusta se verá enormemente amplificada. Los derechos y libertades
conquistados con tanto esfuerzo retrocedieron. La autodeterminación nacional, para muchas
naciones, en el mejor de los casos está comprometida. Esta vez no se trata de fragilidad, sino
de opresión absoluta amplificada. Si la respuesta a una catástrofe es una distopía como ésta,
entonces esa no es ninguna clase de respuesta.

CON LA ARQUITECTURA DE vigilancia y coerción que se está construyendo en China y en otros

lugares, se puede decir que se han dado los primeros pasos. La amenaza de un cataclismo y
la promesa de seguridad permitirán que ocurran muchos más. Cada ola de tecnología ha
introducido una alta posibilidad de alteraciones sistémicas en el orden social. Pero hasta
ahora no han introducido riesgos amplios y sistémicos de desastre globalizado. Eso es lo que
ha cambiado. Eso es lo que podría provocar una respuesta distópica.
Si los estados zombies caminan sonámbulos hacia la catástrofe, su apertura y el caos
creciente es una placa de Petri para una tecnología descontrolada, los estados autoritarios
ya están alegremente atacando precisamente esta tecnodistopía, preparando el terreno,
tecnológicamente si no moralmente, para invasiones masivas de la privacidad y restricciones
de la libertad. Y en el continuo entre los dos también existe la posibilidad de que ocurra lo
peor de todos los mundos: aparatos de vigilancia y control dispersos pero represivos que
aún no llegan a formar un sistema hermético.
Catástrofe y distopía.
El filósofo de la tecnología Lewis Mumford habló de la “megamáquina”, donde los
sistemas sociales se combinan con las tecnologías para formar “una estructura uniforme y
envolvente” que está “controlada en beneficio de organizaciones colectivas
despersonalizadas”. En nombre de la seguridad, la humanidad podría desencadenar la
megamáquina para, literalmente, impedir que otras megamáquinas surjan. Entonces,
paradójicamente, la ola venidera podría crear las herramientas necesarias para contenerse.
Sin embargo, al hacerlo, se abriría un modo de fracaso en el que la autodeterminación, la
libertad y la privacidad se borran, donde los sistemas de vigilancia y control mecánicos hacen
metástasis en formas de dominación que estrangulan a la sociedad.
A aquellos que podrían decir que este cuadro represivo es el lugar en el que nos
encontramos ahora, les diría que no es nada comparado con lo que podría deparar el futuro.
Tampoco es este el único camino distópico posible. Hay muchos otros, pero este está
directamente relacionado tanto con los desafíos políticos de la ola como con su potencial
catastrófico. No es sólo un vago experimento mental. Frente a esto, debemos hacernos estas
preguntas: aunque los conductores detrás de él parezcan tan grandes e inamovibles,
¿debería la humanidad bajarse del tren? ¿Deberíamos rechazar por completo el desarrollo
tecnológico continuo? ¿Podría ser el momento, por improbable que sea, de establecer una
moratoria sobre la tecnología misma?

ESTANCAMIENTO:
UN TIPO DIFERENTE DE CATÁSTROFE

Si observamos nuestras vastas ciudades, los robustos edificios cívicos construidos con acero
y piedra, las grandes cadenas de carreteras y vías férreas que las unen todas, las inmensas
obras de ingeniería y paisajismo que gestionan sus entornos, hay una tentadora sensación
de permanencia que emana de nuestra sociedad. A pesar de la ingravidez del mundo digital,
hay solidez y profusión en el mundo material que nos rodea. Da forma a nuestras
expectativas cotidianas.
Vamos al supermercado y esperamos que esté lleno de frutas y verduras frescas.
Esperamos que se mantenga fresco en verano y cálido en invierno. Incluso a pesar de las
constantes turbulencias, suponemos que las cadenas de suministro y las posibilidades del
siglo XXI son tan sólidas como un antiguo ayuntamiento. Todas las partes históricamente
más extremas de nuestra existencia parecen completamente banales, y por eso, en su mayor
parte, continuamos con nuestras vidas como si pudieran continuar indefinidamente. La
mayoría de quienes nos rodean, incluidos nuestros líderes, hacen lo mismo.
Y, sin embargo, nada dura para siempre. A lo largo de la historia, los colapsos sociales
son legión: desde la antigua Mesopotamia hasta Roma, desde los mayas hasta la Isla de
Pascua, una y otra vez no es sólo que las civilizaciones no duren; es que la insostenibilidad
parece estar incorporada. Las civilizaciones que colapsan no son la excepción; son la regla.
Un estudio de sesenta civilizaciones sugiere que duran unos cuatrocientos años en promedio
antes de desmoronarse. Sin nuevas tecnologías, su desarrollo se topa con límites estrictos
(en energía disponible, en alimentos, en complejidad social) que los derrumban.
Nada ha cambiado excepto esto: durante cientos de años el constante desarrollo
tecnológico aparentemente ha permitido a las sociedades escapar de la trampa de hierro de
la historia. Pero sería un error pensar que esta dinámica ha llegado a su fin. La civilización
del siglo XXI está muy lejos de la maya, naturalmente, pero las presiones de una
superestructura enorme y hambrienta, una gran población, los duros límites de la energía y
la capacidad civilizatoria no han desaparecido mágicamente; simplemente los han
mantenido a raya.
Supongamos que existiera un mundo en el que se pudieran detener esos incentivos.
¿Podría ser el momento de una moratoria total del desarrollo tecnológico? Absolutamente
no.

LA CIVILIZACIÓN MODERNA FIRMA CHEQUES QUE sólo el continuo desarrollo tecnológico puede
cobrar. Todo nuestro edificio se basa en la idea de crecimiento económico a largo plazo. Y el
crecimiento económico a largo plazo es En última instancia, se basa en la introducción y
difusión de nuevas tecnologías. Ya sea la expectativa de consumir más por menos o de
obtener cada vez más servicios públicos sin pagar más impuestos, o la idea de que podemos
degradar el medio ambiente de manera insostenible mientras la vida sigue mejorando
indefinidamente, el trato –posiblemente el gran trato en sí mismo– necesita tecnología.
El desarrollo de nuevas tecnologías es, como hemos visto, una parte fundamental para
afrontar los grandes desafíos de nuestro planeta. Sin nuevas tecnologías, estos desafíos
simplemente no podrán enfrentarse. No se pueden dejar de lado los costos del status quo en
materia de explotación humana y material. Nuestro conjunto actual de tecnologías es notable
en muchos sentidos, pero hay pocos indicios de que pueda implementarse de manera
sostenible para apoyar a más de ocho mil millones de personas en niveles que los de los
países desarrollados dan por sentado. Por desagradable que sea para algunos, vale la pena
repetirlo: resolver problemas como el cambio climático, mantener niveles de vida y de
atención médica cada vez más elevados o mejorar la educación y las oportunidades no se
logrará sin la incorporación de nuevas tecnologías como parte del paquete.
Detener el desarrollo tecnológico, suponiendo que fuera posible, conduciría en cierto
sentido a la seguridad. Para empezar, limitaría la introducción de nuevos riesgos
catastróficos. Pero eso no significaría evitar con éxito la distopía. En lugar de ello, como la
insostenibilidad de las sociedades del siglo XXI empezó a demostrarse, simplemente
generaría otra forma de distopía. Sin nuevas tecnologías, tarde o temprano todo se estanca
y posiblemente colapsa por completo.
Durante el próximo siglo, la población mundial comenzará a disminuir, en algunos
países de manera precipitada. A medida que la proporción entre trabajadores y jubilados
cambie y la fuerza laboral disminuya, las economías simplemente no podrán funcionar a sus
niveles actuales. En otras palabras, sin nuevas tecnologías será imposible mantener los
niveles de vida.
 Este es un problema global. Países como Japón, Alemania, Italia, Rusia y Corea del Sur se
están acercando incluso ahora a una crisis de población en edad de trabajar. Quizás lo más
sorprendente sea que hacia 2050 países como India, Indonesia, México y Turquía estarán en
una posición similar. China será una parte importante de la historia de la tecnología en las
próximas décadas, pero a finales de siglo la Academia de Ciencias Sociales de Shanghai Las
ciencias predicen que el país podría tener sólo 600 millones de habitantes, una sorprendente
inversión del aumento demográfico de casi un siglo. La tasa total de fertilidad de China es
una de las más bajas del mundo, sólo igualada por vecinos como Corea del Sur y Taiwán. La
verdad es que China es completamente insostenible sin nueva tecnología.
No se trata sólo de números, sino también de experiencia, base impositiva y niveles de
inversión; los jubilados sacarán dinero del sistema, no lo invertirán a largo plazo. Todo esto
significa que “los modelos de gobierno de la era posterior a la Segunda Guerra Mundial no
simplemente fracasan, sino que se convierten en pactos suicidas sociales”. Las tendencias
demográficas tardan décadas en cambiar. Las cohortes generacionales no cambian de
tamaño. Este lento e inexorable declive ya está encerrado, es un iceberg inminente que no
podemos hacer nada para evitar, excepto encontrar formas de reemplazar a esos
trabajadores.
La presión sobre nuestros recursos también es una certeza. Recordemos que obtener
materiales para tecnologías limpias, y mucho menos para cualquier otra cosa, es
increíblemente complejo y vulnerable. Se espera que la demanda de litio, cobalto y grafito
aumente un 500 por ciento para 2030. Actualmente, las baterías son la mejor esperanza para
una economía limpia y, sin embargo, apenas hay suficiente capacidad de almacenamiento
para que la mayoría de los lugares consuman minutos o incluso segundos de energía. Para
reemplazar las existencias que disminuyen rápidamente o remediar las fallas de la cadena
de suministro en una gran cantidad de materiales, necesitamos opciones. Eso significa
nuevos avances tecnológicos y científicos en áreas como la ciencia de materiales.
Dadas las limitaciones de población y recursos, quedarse quieto probablemente
requeriría una mejora global de la productividad de dos a tres veces, y quedarse quieto no
es aceptable para la gran mayoría del mundo, entre los cuales, por ejemplo, la mortalidad
infantil es doce veces mayor que en los países desarrollados. . Por supuesto, cualquier
continuación, incluso a los niveles actuales, no sólo presagia estrés demográfico y de
recursos; se suma a la emergencia climática.
No nos equivoquemos: el estancamiento en sí mismo significa un desastre.
Esto no sería sólo una cuestión de escasez de mano de obra en restaurantes y baterías
caras. Significaría el desmoronamiento de todos los aspectos precarios de la vida moderna,
con numerosos efectos posteriores impredecibles, que se cruzarían con una serie de
problemas ya inmanejables. Creo que es fácil descartar cuánto de nuestro modo de vida está
respaldado por constantes mejoras tecnológicas. Aquellos Los precedentes históricos (la
norma, recordemos, para todas las civilizaciones anteriores) gritan alto y claro. El
estancamiento significa un magro futuro de, en el mejor de los casos, declive, pero
probablemente una implosión que podría alcanzar una espiral alarmante. Algunos podrían
argumentar que esto constituye un tercer polo, un gran trilema. Para mí eso no es del todo
cierto. En primer lugar, ésta es, con diferencia, la opción menos probable en esta etapa. Y en
segundo lugar, si esto sucede, simplemente reafirma el dilema en una nueva forma. Una
moratoria sobre la tecnología no es una salida; es una invitación a otro tipo de distopía, otro
tipo de catástrofe.
Incluso si fuera posible, la idea de detener la ola que se avecina no es un pensamiento
reconfortante. Mantener, y mucho menos mejorar, los niveles de vida necesita tecnología.
Para prevenir un colapso se necesita tecnología. Los costos de decir no son existenciales. Y,
sin embargo, cada camino a partir de aquí conlleva graves riesgos y desventajas.
Éste es el gran dilema.

¿DÓNDE SIGUIENTE?

Desde el inicio de la era nuclear y digital, este dilema se ha vuelto más claro. En 1955, hacia
el final de su vida, el matemático John von Neumann escribió un ensayo titulado “¿Podemos
sobrevivir a la tecnología?” Anticipando el argumento aquí, creía que la sociedad global
estaba “en una crisis que madura rápidamente, una crisis atribuible al hecho de que el
entorno en el que debe ocurrir el progreso tecnológico se ha vuelto insuficiente y
desorganizado”. Al final del ensayo, von Neumann considera la supervivencia sólo como “una
posibilidad”, como bien podría hacerlo a la sombra de la nube en forma de hongo que su
propia computadora había hecho realidad. "Para el progreso no hay cura", escribe.
“Cualquier intento de encontrar canales automáticamente seguros para la explosiva
variedad actual de progreso debe conducir a la frustración”.
No soy el único que quiere desarrollar tecnología que pueda cosechar muchos de los
beneficios y al mismo tiempo eliminar los riesgos. Algunos ridiculizarán esa ambición
considerándola simplemente otra forma de arrogancia de Silicon Valley, pero todavía estoy
convencido de que la tecnología sigue siendo un motor principal para realizar mejoras en
nuestro mundo y nuestras vidas. A pesar de todos sus daños, desventajas y consecuencias no
deseadas, la contribución de la tecnología hasta la fecha ha sido abrumadoramente positiva.
Después de todo, incluso la tecnología más dura los críticos generalmente están felices de
usar una tetera, tomar una aspirina, mirar televisión y viajar en el metro. Por cada arma hay
una dosis de penicilina que salva vidas; por cada fragmento de información errónea,
rápidamente se descubre una verdad.
Y sin embargo, de alguna manera, a partir de von Neumann y sus pares, yo y muchos
otros estamos ansiosos por la trayectoria a largo plazo. Mi profunda preocupación es que la
tecnología esté demostrando la posibilidad real de mover drásticamente la situación neta
negativa, que no tengamos respuestas para detener este cambio y que estemos atrapados sin
salida.
Ninguno de nosotros puede estar seguro de cómo se desarrolla exactamente todo esto.
Dentro de los parámetros generales del dilema hay una gama inmensa e incognoscible de
resultados específicos. Sin embargo, confío en que en las próximas décadas veremos
complejos y dolorosos equilibrios entre la prosperidad, la vigilancia y la amenaza de una
catástrofe cada vez más aguda. Incluso un sistema de estados con la mejor salud posible
tendría dificultades.
Nos enfrentamos al desafío definitivo para el Homo technologicus.
 Si este libro parece contradictorio en su actitud hacia la tecnología, en parte positiva y
en parte premonitoria, es porque una visión tan contradictoria es la evaluación más honesta
de dónde nos encontramos. Nuestros bisabuelos se sorprenderían de la abundancia de
nuestro mundo. Pero también se sorprenderían de su fragilidad y peligros. Con la ola que se
avecina, nos enfrentamos a una amenaza real, una cascada de consecuencias potencialmente
desastrosas; sí, incluso un riesgo existencial para la especie. La tecnología es lo mejor y lo
peor de nosotros. No existe un enfoque unilateral claro que le haga justicia. El único enfoque
coherente hacia la tecnología es ver ambos lados al mismo tiempo.
Durante la última década, este dilema se ha vuelto aún más pronunciado y la tarea de
abordarlo se ha vuelto más urgente. Mira el mundo y parece que la contención no es posible.
Si se siguen las consecuencias, algo más se vuelve igualmente crudo: por el bien de todos, la
contención debe ser posible.
 PARTE IV

A TRAVÉS
DE LA OLA
 CAPITULO 13

LA CONTENCIÓN DEBE SER POSIBLE

EL PRECIO DE LAS INFORMACIONES DISPERSAS

tuve LA INTENCIÓN DE ESCRIBIR UN libro con una imagen más optimista sobre el futuro de la
tecnología y el futuro en general. Aunque hoy en día el mundo es mucho más sabio y
cauteloso con respecto a la “tecnología”, todavía hay mucho por lo que ser positivo. Pero
durante la pandemia de COVID-19 tuve tiempo para detenerme y reflexionar. Me permití
reconectarme con una verdad que he estado, si no negando, al menos minimizando durante
demasiado tiempo. Se avecina un cambio exponencial. Es inevitable. Es necesario abordar
ese hecho.
Si se acepta aunque sea una pequeña parte del argumento central de este libro, la
verdadera pregunta es qué hacer al respecto. Una vez que hayamos reconocido esta realidad,
¿qué marcará realmente la diferencia? Ante un dilema como el que he esbozado en las tres
primeras partes de este libro, ¿cómo sería la contención, incluso en teoría?
En los últimos años he tenido innumerables conversaciones sobre esta cuestión. Lo he
discutido con los principales investigadores de IA, con directores ejecutivos, con viejos
amigos, con responsables políticos en Washington, Beijing y Bruselas, con científicos y
abogados, con estudiantes de secundaria y con personas al azar que me escucharán. en la
taberna. Todo el mundo busca inmediatamente respuestas fáciles y casi sin excepción todos
tienen la misma receta: regulación.
Aquí parece estar la respuesta, la salida al dilema, la clave para la contención, salvadora
del Estado-nación y de la civilización tal como la conocemos. Una regulación hábil, que
equilibre la necesidad de avanzar junto con limitaciones de seguridad sensatas, a nivel
nacional y supranacional, que abarque todo, desde gigantes tecnológicos y militares hasta
pequeños grupos de investigación universitarios y empresas de nueva creación, unidos en
un marco integral y aplicable. Lo hemos hecho antes, según el argumento; mire los
automóviles, los aviones y las medicinas. ¿No es así como gestionamos y contenemos la ola que
se avecina?
Si sólo fuera así de simple. Decir “¡Regulación!” frente a un cambio tecnológico
asombroso es la parte fácil. También es la clásica respuesta contraria al pesimismo. Es una
forma sencilla de ignorar el problema. Sobre el papel, la regulación parece atractiva, incluso
obvia y sencilla; sugerirlo permite que las personas parezcan inteligentes, preocupadas e
incluso aliviadas. La implicación tácita es que tiene solución, pero es el problema de otra
persona. Sin embargo, si se mira más profundamente, las fisuras se vuelven evidentes.
En la cuarta parte exploraremos las muchas maneras en que la sociedad puede comenzar
a enfrentar el dilema, deshacerse de la aversión al pesimismo y lidiar realmente con el
problema de la contención, para buscar respuestas en un mundo donde resolverlo debe ser
posible. Sin embargo, antes de hacerlo, es vital reconocer una verdad central: la regulación
por sí sola no es suficiente. Convocar una mesa redonda en la Casa Blanca y pronunciar
discursos serios es fácil; promulgar legislación efectiva es una propuesta diferente. Como
hemos visto, los gobiernos enfrentan múltiples crisis independientemente de la ola que se
avecina: disminución de la confianza, desigualdad arraigada, política polarizada, por
nombrar algunas. Están sobrecargados, su fuerza laboral no está suficientemente capacitada
y no está preparada para los tipos de desafíos complejos y rápidos que se avecinan.
Mientras los aficionados al garaje obtienen acceso a herramientas más potentes y las
empresas de tecnología gastan miles de millones en I+D, la mayoría de los políticos están
atrapados en un ciclo de noticias de veinticuatro horas de fragmentos de sonido y fotografías.
Cuando un gobierno ha retrocedido hasta el punto de simplemente pasar de una crisis a otra,
tiene poco espacio para hacer frente a fuerzas tectónicas que requieren una profunda
experiencia en el dominio y un juicio cuidadoso en escalas de tiempo inciertas. Es más fácil
ignorar estas cuestiones en favor de frutos al alcance de la mano que tienen más
probabilidades de ganar votos en las próximas elecciones.
Incluso los tecnólogos e investigadores en áreas como la IA luchan con el ritmo del
cambio. ¿Qué posibilidades tienen entonces los reguladores con menos recursos? ¿Cómo
explican una era de hiperevolución, el ritmo y la imprevisibilidad de la ola venidera?
La tecnología evoluciona semana a semana. Redacción y aprobación de leyes. lleva años.
Pensemos en la llegada de un nuevo producto al mercado como los timbres Ring. Ring colocó
una cámara en la puerta de entrada y la conectó a su teléfono. El producto se adoptó tan
rápidamente y ahora está tan extendido que ha cambiado fundamentalmente la naturaleza
de lo que es necesario regular; De repente, una calle suburbana promedio pasó de ser un
espacio relativamente privado a estar vigilado y grabado. Cuando la conversación sobre
regulación se puso de moda, Ring ya había creado una extensa red de cámaras, recopilando
datos e imágenes desde las puertas de entrada de personas de todo el mundo. Veinte años
después del surgimiento de las redes sociales, no existe un enfoque consistente para el
surgimiento de una nueva plataforma poderosa (y además, ¿es la privacidad, la polarización,
el monopolio, la propiedad extranjera o la salud mental el problema central, o todos los
anteriores?) . La próxima ola empeorará esta dinámica.
Los debates sobre tecnología se extienden por las redes sociales, blogs y boletines,
revistas académicas, innumerables conferencias, seminarios y talleres, con hilos distantes y
cada vez más perdidos en el ruido. Todo el mundo tiene una opinión, pero no constituye un
programa coherente. Hablar de la ética de los sistemas de aprendizaje automático está a un
mundo de distancia de, digamos, la seguridad técnica de la biosíntesis. Estas discusiones
ocurren en silos aislados y llenos de eco. Rara vez estallan.
Sin embargo, creo que son aspectos de lo que equivale al mismo fenómeno; todos ellos
apuntan a abordar diferentes aspectos de la misma ola. No basta con tener docenas de
conversaciones separadas sobre el sesgo algorítmico, el riesgo biológico, la guerra con
drones, el impacto económico de la robótica o las implicaciones de la computación cuántica
para la privacidad. Subestima por completo cuán interrelacionados están tanto las causas
como los efectos. Necesitamos un enfoque que unifique estas conversaciones dispares, que
encapsule todas esas diferentes dimensiones del riesgo, un concepto de propósito general
para esta revolución de propósito general.
 El precio de los conocimientos dispersos es el fracaso, y sabemos cómo se ve eso. En este
momento, todo lo que tenemos es información dispersa: cientos de programas distintos en
partes distantes de la tecnosfera, socavando esfuerzos bien intencionados pero ad hoc sin un
plan o dirección general. Al más alto nivel necesitamos un objetivo claro y simple, un
estandarte imperativo que integre todos los diferentes esfuerzos en torno a la tecnología. en
un paquete coherente. No sólo modificando este o aquel elemento, no sólo en tal o cual
empresa o grupo de investigación o incluso país, sino en todas partes, en todos los frentes,
zonas de riesgo y geografías a la vez. Ya sea que se trate de un AGI emergente o de una nueva
forma de vida extraña pero útil, el objetivo debe ser unificado: la contención.
El problema central para la humanidad en el siglo XXI es cómo podemos cultivar
suficiente poder y sabiduría políticos legítimos, un dominio técnico adecuado y normas
sólidas para limitar las tecnologías y garantizar que sigan haciendo mucho más bien que mal.
En otras palabras, cómo podemos contener lo aparentemente incontenible.
Desde la historia del Homo technologicus hasta la realidad de una era en la que la
tecnología impregna todos los aspectos de la vida, las probabilidades están en nuestra contra
para hacer de esto una realidad. Pero eso no significa que no debamos intentarlo.
Sin embargo, la mayoría de las organizaciones, no sólo los gobiernos, no están
preparadas para afrontar los complejos desafíos que se avecinan. Como hemos visto, incluso
las naciones ricas pueden tener dificultades frente a una crisis en desarrollo. A partir de
2020, el Índice de Seguridad Sanitaria Global clasificaba a Estados Unidos como el número
uno del mundo y al Reino Unido no muy lejos en términos de preparación para una
pandemia. Sin embargo, un catálogo de decisiones desastrosas generó tasas de mortalidad y
costos financieros materialmente peores que en países pares como Canadá y Alemania. A
pesar de lo que parecía una excelente experiencia, profundidad institucional, planificación y
recursos, incluso aquellos mejor preparados sobre el papel fueron ignorados.
A primera vista, los gobiernos deberían estar mejor preparados que nunca para
gestionar riesgos y tecnologías novedosos. Los presupuestos nacionales para este tipo de
cosas se encuentran generalmente en niveles récord. Sin embargo, la verdad es que las
nuevas amenazas son excepcionalmente difíciles de afrontar para cualquier gobierno. Ése no
es un defecto de la idea de gobierno; es una evaluación de la magnitud del desafío que
tenemos ante nosotros. Cuando se enfrenten a algo como un ACI que pueda pasar mi versión
de la prueba de Turing moderna, la respuesta incluso de las burocracias más reflexivas y
previsoras se parecerá a la respuesta al COVID. Los gobiernos luchan la última guerra, la
última pandemia, regulan la última ola. Los reguladores regulan las cosas que pueden
anticipar.
Mientras tanto, ésta es una época de sorpresas.

LA REGULACIÓN NO ES SUFICIENTE

A pesar de los vientos en contra, los esfuerzos para regular las tecnologías de vanguardia son
necesarios y van en aumento. La legislación más ambiciosa es probablemente la Ley de IA de
la UE, propuesta por primera vez en 2021. En el momento de escribir este artículo en 2023,
la ley está atravesando el largo proceso para convertirse en ley europea. Si se promulga, la
investigación y el despliegue de la IA se clasificarán en una escala basada en el riesgo. Se
prohibirán las tecnologías con “riesgo inaceptable” de causar daño directo. Cuando la IA
afecte los derechos humanos fundamentales o sistemas críticos como la infraestructura
básica, el transporte público, la salud o el bienestar, será clasificada como de “alto riesgo”,
sujeta a mayores niveles de supervisión y rendición de cuentas. La IA de alto riesgo debe ser
“transparente, segura, sujeta a control humano y debidamente documentada”.
Sin embargo, la ley, aunque es uno de los intentos regulatorios más avanzados,
ambiciosos y visionarios del mundo hasta la fecha, también demuestra los problemas
inherentes a la regulación. Ha sido atacado por todos lados, por ir demasiado lejos y por no
ir lo suficiente. Algunos argumentan que está demasiado centrado en riesgos incipientes y
de cara al futuro, intentando regular algo que ni siquiera existe; otros que no es lo
suficientemente previsor. Algunos creen que libera a las grandes empresas tecnológicas, que
desempeñaron un papel decisivo en su redacción y suavizaron sus disposiciones. Otros
piensan que se extralimita y paralizará la investigación y la innovación en la UE,
perjudicando el empleo y los ingresos fiscales.
La mayor parte de la regulación camina sobre la cuerda floja de intereses contrapuestos.
Pero en pocas áreas, aparte de la tecnología de frontera, debe abordar algo tan ampliamente
difundido, tan crítico para la economía y, sin embargo, en tan rápida evolución. Todo el ruido
y la confusión dejan en claro cuán dura y compleja es cualquier forma de regulación,
especialmente en medio de cambios acelerados, y cómo, debido a eso, es casi seguro que
dejará lagunas, sin llegar a ser una contención efectiva.
Regular no sólo las tecnologías hiperevolutivas sino también omniusos y de propósito
general es increíblemente desafiante. Consideremos cómo se regula el transporte
motorizado. No existe un único regulador, ni siquiera unas pocas leyes. En cambio, tenemos
regulaciones sobre tráfico, carreteras, estacionamiento, cinturones de seguridad, emisiones,
capacitación de conductores, etc. Esto no viene sólo de las legislaturas nacionales pero
también de los gobiernos locales, agencias de carreteras, ministerios de transporte que
emiten orientaciones, organismos que otorgan licencias y oficinas de normas ambientales.
Depende no sólo de los legisladores sino también de las fuerzas policiales, los guardias de
tránsito, las compañías automotrices, los mecánicos, los urbanistas y las aseguradoras.
Las complejas regulaciones perfeccionadas a lo largo de décadas hicieron que las
carreteras y los vehículos fueran cada vez más seguros y ordenados, lo que permitió su
crecimiento y difusión. Y, sin embargo, 1,35 millones de personas al año siguen muriendo en
accidentes de tráfico. La regulación puede disminuir los efectos negativos, pero no puede
borrar resultados negativos como los accidentes, la contaminación o la expansión urbana.
Hemos decidido que éste es un costo humano aceptable, considerando los beneficios. Ese
“nosotros” es crucial. La regulación no depende sólo de la aprobación de una nueva ley.
También se trata de normas, estructuras de propiedad, códigos no escritos de cumplimiento
y honestidad, procedimientos de arbitraje, cumplimiento de contratos y mecanismos de
supervisión. Todo esto debe integrarse y el público debe aceptarlo.
Esto lleva tiempo, tiempo que no tenemos. Con la ola que se avecina, no tenemos medio
siglo para que numerosos organismos decidan qué hacer, para que surjan los valores y las
mejores prácticas correctos. La regulación avanzada debe hacerlo bien y rápidamente.
Tampoco está claro cómo se gestionará todo esto en un espectro tan amplio de tecnologías
sin precedentes. Cuando se regula la biología sintética, ¿se regulan los alimentos, las
medicinas, las herramientas industriales, la investigación académica o todos ellos a la vez?
¿Qué organismos son responsables de qué? ¿Cómo encaja todo? ¿Qué actores son
responsables de qué partes de la cadena de suministro? Los peligros de incluso un accidente
grave son extremos y, sin embargo, incluso decidir qué agencia sería responsable es un
campo minado.

MÁS ALLÁ DEL TIRA Y afloja del debate legislativo, las naciones también están atrapadas en una
contradicción. Por un lado, están en una competencia estratégica para acelerar el desarrollo
de tecnologías como la inteligencia artificial y la biología sintética. Cada nación quiere estar
y ser vista en la frontera tecnológica. Es una medida de orgullo nacional, de seguridad
nacional y un imperativo existencial. Por otro lado, están desesperados por regular y
gestionar estas tecnologías, por contenerlas, sobre todo por temor a que amenacen al Estado-
nación como sede suprema del poder. Lo aterrador es que esto supone el mejor de los casos
de fuertes, Estados-nación razonablemente competentes, cohesivos (democráticos
liberales), capaces de trabajar coherentemente como unidades internamente y coordinarse
bien a nivel internacional.
Para que la contención sea posible, las reglas deben funcionar bien en lugares tan
diversos como los Países Bajos, Nicaragua, Nueva Zelanda y Nigeria. Cuando alguien frena,
otros se apresuran hacia adelante. Cada país ya aporta sus distintas costumbres legales y
culturales al desarrollo de la tecnología. La UE restringe fuertemente el uso de organismos
genéticamente modificados en el suministro de alimentos. Sin embargo, en Estados Unidos
los organismos genéticamente modificados son una parte rutinaria de la agroindustria.
China, a primera vista, es una especie de líder regulatorio. El gobierno ha emitido múltiples
edictos sobre la ética de la IA, buscando imponer restricciones de amplio alcance. Prohibió
proactivamente varias criptomonedas e iniciativas DeFi, y limitó el tiempo que los niños
menores de dieciocho años pueden dedicar a juegos y aplicaciones sociales a noventa
minutos al día durante la semana y tres horas el fin de semana. El proyecto de regulación de
algoritmos de recomendación y LLM en China supera con creces todo lo que hemos visto
hasta ahora en Occidente.
China está frenando bruscamente en algunas áreas y al mismo tiempo, como hemos
visto, avanzando en otras. Su regulación va acompañada de un despliegue incomparable de
tecnología como herramienta de poder gubernamental autoritario. Hable con expertos en
política y defensa occidentales y estarán convencidos de que, aunque China habla bien de la
ética y las limitaciones de la IA, cuando se trata de seguridad nacional, no existen barreras
significativas. En efecto, la política china de IA tiene dos vías: una vía civil regulada y una vía
militar-industrial libre.
A menos que la regulación pueda abordar la naturaleza profundamente arraigada de los
incentivos descritos en la parte 2, no será suficiente para contener la tecnología. No detiene
a los malos actores motivados ni a los accidentes. No llega al corazón de un sistema de
investigación abierto e impredecible. No ofrece alternativas dadas las inmensas
recompensas financieras que se ofrecen. Y, sobre todo, no mitiga la necesidad estratégica. No
describe cómo los países podrían coordinarse en un fenómeno transnacional atractivo y
difícil de definir, construyendo una delicada masa crítica de alianzas, especialmente en un
contexto donde los tratados internacionales fracasan con demasiada frecuencia. Existe un
abismo insalvable entre el deseo de frenar la ola venidera y el deseo de moldearla y
apropiarse de ella, entre la necesidad de protección contra tecnologías y la necesidad de
protección contra otros. La ventaja y el control apuntan en direcciones opuestas.
La realidad es que la contención no es algo que un gobierno, o incluso un grupo de
gobiernos, pueda hacer por sí solo. Requiere innovación y audacia en la asociación entre los
sectores público y privado y un conjunto completamente nuevo de incentivos para todas las
partes. Regulaciones como la Ley de IA de la UE al menos insinúan un mundo donde la
contención está en el mapa, un mundo donde los principales gobiernos toman en serio los
riesgos de la proliferación, demostrando nuevos niveles de compromiso y voluntad de hacer
serios sacrificios.
La regulación no es suficiente, pero al menos es un comienzo. Pasos audaces. Una
comprensión real de lo que está en juego en la próxima ola. En un mundo donde la contención
parece imposible, todo esto indica un futuro en el que podría serlo.

CONTENCIÓN REVISADA:
UNA NUEVA GRAN GANGA

¿Tiene alguna entidad el poder de impedir la proliferación masiva y al mismo tiempo

capturar el inmenso poder y los beneficios que surgirán de la ola que se avecina? ¿Para
impedir que los malos actores adquieran una tecnología o dar forma a la difusión de ideas
incipientes en torno a ella? A medida que aumenta la autonomía, ¿puede alguien o algo tener
realmente la esperanza de tener un control significativo a nivel macro? La contención
significa responder sí a preguntas como estas. En teoría, la tecnología contenida nos saca del
dilema. Significa al mismo tiempo aprovechar y controlar la ola, una herramienta vital para
construir sociedades sostenibles y florecientes, y al mismo tiempo controlarla de manera que
evite una catástrofe grave, pero no de manera tan invasiva como para invitar a la distopía.
Significa redactar un nuevo tipo de gran acuerdo.
Anteriormente en el libro describí la contención como una base para controlar y
gobernar la tecnología, que abarca aspectos técnicos, culturales y regulatorios. En el fondo,
creo que esto significa tener el poder de reducir drásticamente o detener por completo los
impactos negativos de la tecnología, desde lo local y de pequeña escala hasta lo planetario y
existencial. Al abarcar una aplicación estricta contra el uso indebido de tecnologías
proliferadas, también orienta el desarrollo, la dirección y la gobernanza de las tecnologías
emergentes. tecnologías. La tecnología contenida es tecnología cuyos modos de falla se
conocen, gestionan y mitigan, una situación en la que los medios para dar forma y gobernar
la tecnología aumentan en paralelo con sus capacidades.
Es tentador pensar en la contención en un sentido obvio y literal, una especie de caja
mágica en la que se puede sellar una tecnología determinada. En el límite exterior (en el caso
de malware o patógenos no autorizados) podrían ser necesarias medidas tan drásticas. Sin
embargo, en general, consideremos la contención más como un conjunto de barandillas, una
forma de mantener a la humanidad en el asiento del conductor cuando una tecnología corre
el riesgo de causar más daño que bien. Imagínese esas barandillas operando en diferentes
niveles y con diferentes modos de implementación. En el próximo capítulo consideraremos
cómo podrían verse a un nivel más granular, desde la investigación de alineación de la IA
hasta el diseño de laboratorio, desde los tratados internacionales hasta los protocolos de
mejores prácticas. Por ahora, el punto clave es que esas barreras deben ser lo
suficientemente fuertes como para que, en teoría, puedan detener una catástrofe
descontrolada.
La contención deberá responder a la naturaleza de una tecnología y canalizarla en
direcciones que sean más fáciles de controlar. Recordemos las cuatro características de la
próxima ola: asimetría, hiperevolución, omniuso y autonomía. Cada característica debe verse
a través del lente de la contenibilidad. Antes de esbozar una estrategia, vale la pena
plantearse los siguientes tipos de preguntas para generar vías prometedoras:
• ¿La tecnología es omniuso y de propósito general o específica? Un arma nuclear es
una tecnología muy específica con un propósito, mientras que una computadora
es inherentemente multiusos. Cuantos más casos de uso potenciales, más difícil
de contener. Por lo tanto, en lugar de sistemas generales, se deberían fomentar
aquellos que tienen un alcance más limitado y un dominio específico.
• ¿Se está alejando la tecnología de los átomos hacia los bits? Cuanto más
desmaterializada es una tecnología, más sujeta está a efectos hiperevolutivos
difíciles de controlar. Áreas como el diseño de materiales o el desarrollo de
fármacos se acelerarán rápidamente, lo que hará que el ritmo del progreso sea
más difícil de seguir.
• ¿Están bajando el precio y la complejidad y, de ser así, con qué rapidez? El precio
de los aviones de combate no ha bajado como lo ha hecho el precio de los
transistores o el hardware de consumo. Una amenaza que se origina en la
informática básica es de naturaleza más amplia que la de los aviones de
combate, a pesar del evidente potencial destructivo de estos últimos.
• ¿Existen alternativas viables listas para funcionar? Los CFC podrían prohibirse
en parte porque existen alternativas más baratas y seguras para la
refrigeración. ¿Qué alternativas hay disponibles? Cuantas más alternativas
seguras haya disponibles, más fácil será eliminar gradualmente su uso.
• ¿La tecnología permite un impacto asimétrico? Piense en un enjambre de drones
contra el ejército convencional o en una pequeña computadora o virus biológico
que daña sistemas sociales vitales. El riesgo de que determinadas tecnologías
sorprendan y exploten vulnerabilidades es mayor.
• ¿Tiene características autónomas? ¿Hay posibilidades de autoaprendizaje o de
funcionamiento sin supervisión? Piense en impulsores genéticos, virus,
malware y, por supuesto, robótica. Cuanto más requiere una tecnología por
diseño intervención humana, menos posibilidades hay de perder el control.
• ¿Confiere una enorme ventaja estratégica geopolítica? Las armas químicas, por
ejemplo, tienen ventajas limitadas y muchas desventajas, mientras que avanzar
en IA o bio tiene enormes ventajas, tanto económicas como militares. En
consecuencia, decir no es más difícil.
 • ¿Favorece la ofensiva o la defensiva? En la Segunda Guerra Mundial, el desarrollo
de misiles como el V-2 ayudó en las operaciones ofensivas. Pero una tecnología
como el radar reforzó la defensa. Orientar el desarrollo hacia la defensa sobre la
ofensiva tiende hacia la contención.
• ¿Existen limitaciones de recursos o de ingeniería para su invención, desarrollo y
despliegue? Los chips de silicio requieren materiales, máquinas y conocimientos
especializados y altamente concentrados. El talento disponible para una nueva
empresa de biología sintética es, en términos globales, todavía bastante
pequeño. Ambos ayudan a la contención en el corto plazo.
Cuando la fricción adicional mantiene las cosas en el mundo tangible de los átomos, por
ejemplo, o las encarece, o si hay alternativas más seguras disponibles, hay más posibilidades
de contención porque es más fácil ralentizar las tecnologías, limitar el acceso o abandonarlas.
en total. Las tecnologías específicas son más fáciles de regular que las tecnologías omniuso,
pero regular el omniuso es más importante. Asimismo, cuanto mayor sea el potencial de
acciones ofensivas o de autonomía, mayor será la necesidad de contención. Si se puede
mantener el precio y la facilidad de acceso fuera del alcance de muchos, la proliferación se
vuelve más difícil. Haga preguntas como estas y comenzará a surgir una visión holística de la
contención.

ANTES DEL DILUVIO

He trabajado en este tema durante casi quince años. Durante ese tiempo he sentido la pura
fuerza de lo que se describe en este libro, de esos incentivos y de la urgente necesidad de
respuestas, incluso cuando los contornos del dilema se hacían cada vez más claros. Y, sin
embargo, incluso a mí me ha sorprendido lo que la tecnología ha hecho posible en unos pocos
años. He luchado con estas ideas, observando cómo el ritmo de desarrollo sigue
acelerándose.
La realidad es que muchas veces no hemos controlado ni contenido las tecnologías en el
pasado. Y si queremos hacerlo ahora, haría falta algo dramáticamente nuevo, un programa
integral de seguridad, ética, regulación y control que ni siquiera tiene un nombre y que, en
primer lugar, no parece posible.
El dilema debería ser un llamado urgente a la acción. Pero con el paso de los años se ha
vuelto obvio que para la mayoría de la gente esto es mucho que asimilar. Lo entiendo
absolutamente. Apenas parece real en el primer encuentro. En todas esas discusiones sobre
IA y regulación, me ha sorprendido lo difícil que es, en comparación con una serie de desafíos
existentes o inminentes, transmitir exactamente por qué los riesgos de este libro deben
tomarse en serio, por qué no se toman en serio. No se trata simplemente de riesgos casi
irrelevantes o de ciencia ficción.
Un desafío incluso para comenzar a tener esta conversación es que la tecnología, en la
imaginación popular, se ha asociado con un grupo reducido de aplicaciones a menudo
superfluas. “Tecnología” ahora principalmente significa plataformas de redes sociales y
dispositivos portátiles para medir nuestros pasos y frecuencia cardíaca. Es fácil olvidar que
la tecnología incluye los sistemas de irrigación esenciales para alimentar al planeta y las
máquinas recién nacidas que sustentan la vida. La tecnología no es sólo una forma de
almacenar tus selfies; representa el acceso a la cultura y la sabiduría acumuladas en el
mundo. La tecnología no es un nicho; es un hiperobjeto que domina la existencia humana.
Una comparación útil aquí es el cambio climático. También se ocupa de riesgos que a
menudo son difusos, inciertos, temporalmente distantes, que ocurren en otros lugares y que
carecen de la prominencia, la adrenalina y la inmediatez de una emboscada en la sabana: el
tipo de riesgo al que estamos bien preparados para responder. Psicológicamente, nada de
esto se siente presente. Nuestros cerebros prehistóricos generalmente no tienen remedio
para enfrentar amenazas amorfas como éstas.
Sin embargo, durante la última década, el desafío del cambio climático se ha centrado
mejor. Aunque el mundo todavía arroja cantidades cada vez mayores de CO 2 , los científicos
de todo el mundo pueden medir las partes por millón (ppm) de CO 2 en la atmósfera. Tan
recientemente como la década de 1970, el carbono atmosférico global rondaba las 300 ppm.
En 2022 fue de 420 ppm. Ya sea en Beijing, Berlín o Burundi, ya sea una gran petrolera o una
granja familiar, todos pueden ver, objetivamente, lo que está sucediendo con el clima. Los
datos aportan claridad.
La aversión al pesimismo es mucho más difícil cuando los efectos son tan claramente
cuantificables. Al igual que el cambio climático, el riesgo tecnológico sólo puede abordarse a
escala planetaria, pero no existe una claridad equivalente. No existe una métrica útil de
riesgo, ni una unidad objetiva de amenaza compartida en las capitales nacionales, las salas
de juntas y el sentimiento público, ni partes por millón para medir lo que la tecnología podría
hacer o dónde se encuentra. No existe un estándar obvio o acordado en común que podamos
verificar año tras año. No hay consenso entre científicos y tecnólogos sobre la vanguardia.
No hay ningún movimiento popular detrás de detenerlo, ni imágenes gráficas de icebergs
derritiéndose y osos polares varados o pueblos inundados para crear conciencia. Una
investigación oscura publicada en arXiv, en blogs de culto de Substack o en documentos
técnicos secos de un grupo de expertos no es suficiente aquí.
¿Cómo encontramos puntos en común entre agendas en competencia? China y Estados
Unidos no comparten la visión de restringir el desarrollo de la IA; Meta no compartiría la
opinión de que las redes sociales son parte del problema; Los investigadores y virólogos de
IA creen que su trabajo es una parte fundamental no para causar una catástrofe sino para
comprenderla y evitarla. La “tecnología” no es, a primera vista, un problema en el mismo
sentido que el calentamiento del planeta.
Y, sin embargo, podría serlo.
El primer paso es el reconocimiento. Necesitamos reconocer con calma que la ola se
acerca y que el dilema es, a falta de un cambio brusco de rumbo, inevitable. O podemos lidiar
con la amplia gama de resultados buenos y malos provocados por nuestra continua apertura
y persecución irresponsable, o podemos enfrentar los riesgos distópicos y autoritarios que
surgen de nuestros intentos de limitar la proliferación de tecnologías poderosas, riesgos
además inherentes a la propiedad concentrada de esas tecnologías. mismas tecnologías.
Elige tu veneno. En última instancia, este equilibrio debe lograrse en consulta con todos.
Cuanto más esté en el radar del público, mejor. Si este libro suscita críticas, argumentos,
propuestas y contrapropuestas, cuantas más, mejor.
No habrá una solución única y mágica de una habitación llena de gente inteligente en
algún búnker. Todo lo contrario. Las élites actuales están tan comprometidas con su aversión
al pesimismo que temen ser honestas acerca de los peligros que enfrentamos. Están felices
de opinar y debatir en privado, no tanto de salir y hablar de ello. Están acostumbrados a un
mundo de control y orden: el control de un director ejecutivo sobre una empresa, de un
banquero central sobre las tasas de interés, de un burócrata sobre las adquisiciones militares
o de un urbanista sobre qué baches arreglar. Sus palancas de control son imperfectas, claro,
pero son conocidas, probadas y comprobadas y, en general, funcionan. No es así aquí.
Este es un momento único. La ola que se avecina realmente está llegando, pero aún no
nos ha invadido. Si bien existen incentivos imparables, la forma final de la ola y los contornos
precisos del dilema aún están por decidirse. No perdamos décadas esperando para
descubrirlo. Comencemos a administrarlo hoy.
En el próximo capítulo, describo diez áreas de enfoque. Este no es un mapa completo, ni
remotamente un conjunto de respuestas finales, sino un trabajo preliminar necesario. Mi
intención es sembrar ideas con la esperanza de dar los primeros pasos cruciales hacia la
contención. Lo que unifica estas ideas es que todas son Se trata de ganancias marginales, la
agregación lenta y constante de pequeños esfuerzos para producir una mayor probabilidad
de buenos resultados. Se trata de crear un contexto diferente sobre cómo se construye e
implementa la tecnología: encontrar formas de ganar tiempo, reducir el ritmo, dar espacio
para trabajar más en las respuestas, llamar la atención, construir alianzas y promover el
trabajo técnico.
Creo que no es posible contener la ola que se avecina en nuestro mundo actual . Sin
embargo, lo que estas medidas podrían lograr es cambiar las condiciones subyacentes.
Impulsar el status quo para que la contención tenga una posibilidad. Deberíamos hacer todo
esto sabiendo que podría fracasar, pero que es nuestra mejor oportunidad para construir un
mundo donde la contención (y el florecimiento humano) sean posibles.
Aquí no hay garantías, no hay conejos sacados de la chistera. Cualquiera que espere una
solución rápida, una respuesta inteligente, quedará decepcionado. Al acercarnos al dilema,
nos quedamos en la misma posición demasiado humana de siempre: dándolo todo y
esperando que funcione. Así es como creo que podría (sólo podría) unirse.
 CAPITULO 14

DIEZ PASOS HACIA LA CONTENCIÓN

Piense EN LAS DIEZ IDEAS presentadas aquí como círculos concéntricos. Comenzamos de
forma pequeña y directa, cerca de la tecnología, centrándonos en mecanismos específicos
para imponer restricciones por diseño. A partir de ahí, cada idea se vuelve progresivamente
más amplia, ascendiendo por una escalera de intervenciones que se alejan de los detalles
técnicos estrictos, el código y los materiales en bruto, y avanzan hacia acciones no técnicas
pero no menos importantes, aquellas que se suman a nuevos incentivos comerciales. ,
gobierno reformado, tratados internacionales, una cultura tecnológica más saludable y un
movimiento popular global.
Es la forma en que se construyen todas estas capas de la cebolla lo que las hace
poderosas; cada uno por sí solo es insuficiente. Cada uno requiere tipos muy diferentes de
intervenciones, con diferentes habilidades, competencias y personas; cada uno es
generalmente su propio subcampo vasto y especializado. En conjunto, creo, podrían sumar
algo que funcione.
Empecemos por el principio, por la tecnología en sí.

1. SEGURIDAD: UN PROGRAMA APOLO

PARA LA SEGURIDAD TÉCNICA

Hace unos años, muchos modelos de lenguajes grandes tuvieron un problema. Eran, para
decirlo sin rodeos, racistas. Los usuarios podían encontrar fácilmente formas de hacerles
regurgitar material racista o sostener opiniones racistas que habían recopilado al escanear
el vasto corpus de textos en los que habían sido entrenados. Al parecer, el sesgo tóxico estaba
arraigado en la escritura humana y luego amplificado por la IA. Esto llevó a muchos a concluir
que todo el montaje era éticamente roto, moralmente inviable; no había manera de que los
LLM pudieran controlarse lo suficientemente bien como para divulgarlos al público dados
los daños obvios.
Pero luego, como hemos visto, los LLM despegaron. En 2023, ahora está claro que, en
comparación con los primeros sistemas, es extremadamente difícil incitar a algo como
ChatGPT a realizar comentarios racistas. ¿Es un problema resuelto? Absolutamente no.
Todavía hay múltiples ejemplos de LLM sesgados, incluso abiertamente racistas, así como
problemas graves con todo, desde información inexacta hasta engaño. Pero para aquellos de
nosotros que hemos trabajado en este campo desde el principio, el progreso exponencial en
la eliminación de malos resultados ha sido increíble, innegable. Es fácil pasar por alto lo lejos
y rápido que hemos llegado.
 Un factor clave detrás de este progreso se llama aprendizaje reforzado a partir de la
retroalimentación humana. Para corregir sus LLM propensos a sesgos, los investigadores
establecieron conversaciones de varios turnos astutamente construidas con el modelo,
incitándolo a decir cosas desagradables, dañinas u ofensivas, viendo dónde y cómo sale mal.
Al señalar estos pasos en falso, los investigadores luego reintegran estos conocimientos
humanos en el modelo, enseñándole eventualmente una visión del mundo más deseable, de
una manera no del todo diferente de cómo tratamos de enseñar a los niños a no decir cosas
inapropiadas en la mesa. A medida que los ingenieros se volvieron más conscientes de los
problemas éticos inherentes a sus sistemas, se volvieron más abiertos a encontrar
innovaciones técnicas para ayudar a abordarlos.
Abordar el racismo y los prejuicios en los LLM es un ejemplo de cuán cuidadoso y
responsable es necesario un despliegue para avanzar en la seguridad de estos modelos. El
contacto con la realidad ayuda a los desarrolladores a aprender, corregir y mejorar su
seguridad.
Si bien es incorrecto decir que las soluciones técnicas por sí solas pueden resolver los
problemas sociales y éticos generados por la IA, sí muestra cómo serán parte de ello. La
seguridad técnica, de cerca, en el código, en el laboratorio, es el primer punto en cualquier
agenda de contención.

ESCUCHE LA PALABRA “CONTENCIÓN” y, suponiendo que no sea un experto en relaciones

internacionales, es probable que piense en el sentido físico de mantener algo dentro. Sin
duda, contener físicamente la tecnología es importante. Hemos visto, por ejemplo, cómo
incluso los laboratorios BSL-4 pueden tener fugas. ¿Qué tipo de entorno podría hacer eso
completamente imposible? ¿ Cómo se ve un BSL-7 o -n ?
Aunque en el último capítulo sostuve que la contención no debería reducirse a una
especie de caja mágica, eso no significa que no queramos encontrar formas de construir una
como parte de ella. El control definitivo es el control físico estricto de servidores, microbios,
drones, robots y algoritmos. “Boxear” una IA es la forma original y básica de contención
tecnológica. Esto implicaría no tener conexiones a Internet, contacto humano limitado y una
interfaz externa pequeña y restringida. Lo contendría, literalmente, en cajas físicas con una
ubicación definida. Un sistema como este, llamado espacio de aire, podría, en teoría, impedir
que una IA interactúe con el resto del mundo o de alguna manera "escapar".
La segregación física es solo un aspecto de la transformación de la arquitectura de
seguridad técnica para enfrentar el desafío de la próxima ola. Tomar lo mejor de lo que hay
es un comienzo. La energía nuclear, por ejemplo, tiene mala reputación gracias a desastres
bien conocidos como Chernobyl y Fukushima. Pero en realidad es notablemente seguro. La
Agencia Internacional de Energía Atómica ha publicado más de un centenar de informes de
seguridad que abordan normas técnicas específicas para situaciones determinadas, desde la
clasificación de residuos radiactivos hasta la preparación en casos de emergencia.
Organismos como el Instituto de Ingenieros Eléctricos y Electrónicos mantienen más de dos
mil normas técnicas de seguridad sobre tecnologías que van desde el desarrollo de robots
autónomos hasta el aprendizaje automático. La biotecnología y la industria farmacéutica han
operado bajo estándares de seguridad mucho más allá de los de la mayoría de las empresas
de software durante décadas. Vale la pena recordar cuán seguras han sido años de esfuerzos
para hacer que muchas tecnologías existentes sean seguras y aprovecharlas.
La investigación de seguridad de Frontier AI es todavía un campo incipiente y sin
desarrollar que se centra en evitar que sistemas cada vez más autónomos reemplacen
nuestra capacidad para comprenderlos o controlarlos. Veo estas preguntas sobre el control
o la alineación de valores como subconjuntos de un problema de contención más amplio. Si
bien se invierten miles de millones en robótica, biotecnología e inteligencia artificial, se
gastan cantidades comparativamente pequeñas en un marco de seguridad técnica
equivalente a mantenerlos funcionalmente contenidos. El principal supervisor de las armas
biológicas, por ejemplo, la Convención sobre Armas Biológicas, tiene un presupuesto de sólo
1,4 millones de dólares y sólo cuatro empleados a tiempo completo, menos que el
McDonald's promedio.
El número de investigadores de seguridad de la IA sigue siendo minúsculo: pasó de
alrededor de cien en los principales laboratorios de todo el mundo en 2021 a trescientos o
cuatrocientos en 2022. Dado que hoy en día hay entre treinta y cuarenta mil investigadores
de IA (y un número similar de personas capaces de reconstruir el ADN), es
sorprendentemente pequeño. Ni siquiera multiplicar por diez la ola de contrataciones (algo
poco probable dadas las limitaciones de talento) abordaría la magnitud del desafío. En
comparación con la magnitud de lo que podría salir mal, la investigación sobre seguridad y
ética en IA es marginal. Sólo un puñado de instituciones, debido a las dificultades de recursos,
toman en serio las cuestiones técnicas de seguridad. Y, sin embargo, las decisiones de
seguridad que se tomen hoy alterarán el curso futuro de la tecnología y la humanidad.
Aquí hay una clara obligación: alentar, incentivar y financiar directamente mucho más
trabajo en esta área. Es hora de un programa Apollo sobre seguridad y bioseguridad de la IA.
Cientos de miles deberían estar trabajando en ello. Concretamente, una buena propuesta de
legislación sería exigir que una parte fija (digamos, un mínimo del 20 por ciento) de los
presupuestos de investigación y desarrollo de las empresas fronterizas se destine a
esfuerzos de seguridad, con la obligación de publicar los resultados materiales en un grupo
de trabajo gubernamental. para que el progreso pueda ser rastreado y compartido. Las
misiones Apolo originales eran costosas y onerosas, pero mostraban el inmenso nivel de
ambición adecuado, y su actitud positiva frente a dificultades desalentadoras catalizó el
desarrollo de tecnologías desde semiconductores y software hasta relojes de cuarzo y
paneles solares. Esto podría hacer algo similar por seguridad.
Aunque actualmente las cifras son pequeñas, sé por experiencia que está surgiendo una
oleada de interés en torno a estas cuestiones. Los estudiantes y otros jóvenes que conozco
hablan de temas como la alineación de la IA y la preparación para una pandemia. Hable con
ellos y quedará claro que les atrae el desafío intelectual, pero también les atrae el imperativo
moral. Quieren ayudar y sienten el deber de hacerlo mejor. Estoy seguro de que si existen
empleos y programas de investigación, el talento seguirá.
Para los expertos técnicos en seguridad del mañana, hay muchas direcciones
prometedoras que explorar. La preparación para una pandemia podría, por ejemplo,
mejorarse enormemente mediante el uso de bombillas de baja longitud de onda que maten
los virus. Emite luz con una longitud de onda entre 200 y 230 nanómetros, cerca del espectro
ultravioleta, pueden matar virus sin penetrar la capa externa de la piel: un arma poderosa
contra las pandemias y la propagación más amplia de enfermedades. Y si la pandemia de
COVID-19 nos enseñó algo es el valor de un enfoque integrado y acelerado en la
investigación, el lanzamiento y la regulación de nuevas vacunas.
En la IA, la seguridad técnica también significa zonas de pruebas y simulaciones seguras
para crear espacios de aire demostrablemente seguros para que las IA avanzadas puedan
probarse rigurosamente antes de que se les dé acceso al mundo real. Significa mucho más
trabajo sobre la incertidumbre, un tema importante en este momento: es decir, ¿cómo se
comunica una IA cuando podría estar equivocada? Uno de los problemas de los LLM es que
todavía sufren el problema de las alucinaciones, por lo que a menudo afirman con seguridad
que información tremendamente errónea es precisa. Esto es doblemente peligroso dado que
a menudo tienen razón, hasta un nivel experto. Como usuario, es muy fácil dejarse llevar por
una falsa sensación de seguridad y asumir que todo lo que sale del sistema es cierto.
En Inflection, por ejemplo, estamos encontrando formas de alentar a nuestra IA llamada
Pi (por inteligencia personal) a ser cautelosa e insegura por defecto, y alentar a los usuarios
a seguir siendo críticos. Estamos diseñando Pi para expresar dudas, solicitar
retroalimentación frecuente y constructiva, y ceder rápidamente asumiendo que el ser
humano, no la máquina, tiene razón. Nosotros y otros también estamos trabajando en una
importante línea de investigación que tiene como objetivo verificar una declaración de una
IA utilizando bases de conocimiento de terceros que sabemos que son creíbles. Aquí se trata
de garantizar que los resultados de la IA proporcionen citas, fuentes y pruebas interrogables
que un usuario pueda investigar más a fondo cuando surja una afirmación dudosa.
La explicación es otra enorme frontera técnica de seguridad. Recordemos que en la
actualidad nadie puede explicar por qué, precisamente, un modelo produce los resultados
que produce. Idear formas para que los modelos expliquen de manera integral sus decisiones
o las abran al escrutinio se ha convertido en un enigma técnico crítico para los investigadores
de seguridad. Aún es temprano para esta investigación, pero hay algunas señales
prometedoras de que los modelos de IA podrían ser capaces de proporcionar justificaciones
para sus resultados, aunque todavía no un razonamiento causal, aunque aún no está claro
qué tan confiables serán.
También se está realizando un gran trabajo en el uso de arquitecturas simplificadas.
explorar otros más complejos, incluso automatizar el proceso de investigación de alineación
en sí: construir IA que nos ayuden a contener la IA. Los investigadores están trabajando en
una generación de “IA críticas” que pueden monitorear y dar retroalimentación sobre otros
resultados de IA con el objetivo de mejorarlos a velocidades y escalas que los humanos no
pueden igualar: velocidades y escalas que veremos en la próxima ola. La gestión de
herramientas poderosas requiere herramientas poderosas.
El informático Stuart Russell propone utilizar el tipo de duda sistemática incorporada
que estamos explorando en Inflection para crear lo que él llama "IA demostrablemente
beneficiosa". En lugar de darle a una IA un conjunto de objetivos externos fijos contenidos
en lo que se conoce como una constitución escrita, recomienda que los sistemas infieran
cautelosamente nuestras preferencias y fines. Deberían observar y aprender atentamente.
En teoría, esto debería dejar más lugar a la duda dentro de los sistemas y evitar resultados
perversos.
Aún quedan muchos desafíos clave: ¿Cómo se pueden incorporar valores seguros en un
poderoso sistema de IA potencialmente capaz de anular sus propias instrucciones? ¿Cómo
podrían las IA inferir estos valores de los humanos? Otra cuestión pendiente es cómo
solucionar el problema de la “corregibilidad”, garantizando que siempre sea posible acceder
a los sistemas y corregirlos. Si cree que todo esto parece características de seguridad
bastante fundamentales e imprescindibles de la IA avanzada, estaría en lo cierto. El progreso
aquí debe mantenerse al día.
También deberíamos incorporar restricciones técnicas sólidas al proceso de desarrollo
y producción. Piense en cómo todas las fotocopiadoras e impresoras modernas están
construidas con tecnología que le impide copiar o imprimir dinero, y algunas incluso se
apagan si lo intenta. Por ejemplo, los límites de recursos en la cantidad de computación de
entrenamiento utilizada para crear modelos podrían imponer límites a la tasa de progreso
(al menos en esa dimensión). Se puede limitar el rendimiento para que un modelo solo pueda
ejecutarse en cierto hardware estrictamente controlado. Los sistemas de inteligencia
artificial podrían construirse con protecciones criptográficas que garanticen que los pesos
de los modelos (la IP más valiosa del sistema) puedan copiarse solo un número limitado de
veces o solo en determinadas circunstancias.
El desafío de más alto nivel, ya sea en biología sintética, robótica o inteligencia artificial,
es construir un interruptor de apagado a prueba de balas, un medio para cerrar cualquier
tecnología que amenace con salirse de control. Es puro sentido común para asegurar siempre
que haya un interruptor de apagado en cualquier sistema autónomo o potente. Cómo hacer
esto con tecnologías que son tan distribuidas, proteicas y de gran alcance como las de la
próxima ola (tecnologías cuya forma precisa aún no está clara, tecnologías que en algunos
casos podrían resistir activamente) es una cuestión abierta. Es un gran desafío. ¿Creo que es
posible? Sí, pero nadie debería restar importancia ni por un segundo a la magnitud de lo
difícil que será.
Demasiado trabajo de seguridad es incremental, se centra en evaluaciones de impacto
limitadas, pequeños problemas técnicos o en solucionar problemas que surgen después del
lanzamiento en lugar de trabajar en cuestiones fundamentales antes de tiempo. En cambio,
deberíamos identificar los problemas tempranamente y luego invertir más tiempo y
recursos en los fundamentos. Piensa en grande. Crear estándares comunes. Las
características de seguridad no deberían ser una ocurrencia tardía, sino propiedades de
diseño inherentes a todas estas nuevas tecnologías, el estado fundamental de todo lo que
viene después. A pesar de los enormes desafíos, estoy realmente entusiasmado con la
variedad y el ingenio de las ideas que hay aquí. Démosles el oxígeno intelectual y el apoyo
material para tener éxito, reconociendo que si bien la ingeniería nunca es la respuesta
completa, es una parte fundamental de ella.

2. AUDITORÍAS: EL CONOCIMIENTO ES PODER;

EL PODER ES CONTROL

Las auditorías suenan aburridas. Necesario, tal vez, pero mortalmente aburrido. Pero son
fundamentales para la contención. Crear contenedores físicos y virtuales seguros (el tipo de
trabajo que acabamos de ver) es fundamental. Pero por sí solo es insuficiente. En realidad,
es vital tener una supervisión significativa y reglas aplicables y revisar las implementaciones
técnicas. Los avances técnicos en seguridad y las regulaciones tendrán dificultades para ser
efectivos si no se puede verificar que funcionan según lo previsto. ¿Cómo puedes estar
seguro de lo que realmente está pasando y comprobar que tienes el control? Es un inmenso
desafío técnico y social.
La confianza proviene de la transparencia. Es absolutamente necesario que podamos
verificar, en todos los niveles, la seguridad, la integridad o la integridad de un sistema. Esto,
a su vez, tiene que ver con los derechos de acceso y la capacidad de auditoría, con probar
sistemas de forma adversaria, con equipos de hackers de sombrero blanco o incluso con IA
que investiguen debilidades, fallas y sesgos. Se trata de construir tecnología de una manera
completamente diferente, con herramientas y técnicas que aún no existen.
El escrutinio externo es esencial. En este momento no existe ningún esfuerzo global,
formal o rutinario para probar los sistemas implementados. No existe un aparato de alerta
temprana para los riesgos tecnológicos ni una forma uniforme o rigurosa de saber si cumplen
con las regulaciones o incluso si se adhieren a puntos de referencia comúnmente acordados.
No existen las instituciones ni las evaluaciones estandarizadas ni las herramientas
necesarias. Entonces, como punto de partida, tener empresas e investigadores trabajando en
la vanguardia, donde existe un riesgo real de daño, colaborando proactivamente con
expertos confiables en auditorías de su trabajo dirigidas por el gobierno, es de sentido común
básico. Si existiera tal organismo, estaría feliz de cooperar con él en Inflection.
Hace unos años cofundé una organización intersectorial y de la sociedad civil llamada
Partnership on AI para ayudar con este tipo de trabajo. Lo lanzamos con el apoyo de las
principales empresas de tecnología, incluidas DeepMind, Google, Facebook, Apple, Microsoft,
IBM y OpenAI, junto con decenas de grupos de expertos de la sociedad civil, incluidos ACLU,
EFF, Oxfam, PNUD y otros veinte. Poco después, puso en marcha una base de datos de
incidentes de IA, diseñada para informar de forma confidencial sobre eventos de seguridad
para compartir lecciones con otros desarrolladores. Hasta la fecha ha recopilado más de mil
doscientos informes. Con más de cien socios de grupos académicos, de medios y sin fines de
lucro, la asociación ofrece ventanas críticas y neutrales para la discusión y colaboración
interdisciplinarias. Hay margen para más organizaciones como ésta y programas de
auditoría dentro de ellas.
Otro ejemplo interesante es el “equipo rojo”, es decir, la búsqueda proactiva de fallas en
modelos de IA o sistemas de software. Esto significa atacar sus sistemas de manera
controlada para detectar debilidades y otros modos de falla. Los que se producen hoy
probablemente se magnifiquen en el futuro, por lo que comprenderlos permite incorporar
salvaguardias a medida que los sistemas se vuelven más poderosos. Cuanto más se haga esto
de forma pública y colectiva, mejor, permitiendo a todos los desarrolladores aprender unos
de otros. Una vez más, ya es hora de que todas las grandes empresas de tecnología colaboren
proactivamente aquí, compartiendo rápidamente conocimientos sobre riesgos novedosos,
tal como la industria de la ciberseguridad ha compartido durante mucho tiempo
conocimientos sobre nuevos ataques de día cero.
También es hora de crear equipos rojos financiados por el gobierno que ataquen y
prueben rigurosamente cada sistema, asegurando que los conocimientos descubiertos a lo
largo del camino se compartan ampliamente en toda la industria. Con el tiempo, este trabajo
podría ampliarse y automatizarse, con sistemas de IA de mandato público diseñados
específicamente para auditar y detectar problemas en otros, y al mismo tiempo permitir ser
auditados.
Los sistemas implementados para realizar un seguimiento de las nuevas tecnologías
deben reconocer anomalías, saltos imprevistos en la capacidad y modos de falla ocultos.
Deben detectar ataques troyanos que parezcan legítimos pero que oculten sorpresas no
deseadas. Para ello, tendrán que monitorear una enorme variedad de métricas sin caer en la
siempre tentadora trampa del panóptico. Vigilar de cerca los conjuntos de datos importantes
que se utilizan para entrenar modelos, en particular los conjuntos de datos de fuente abierta,
la bibliometría de la investigación y los incidentes dañinos disponibles públicamente, sería
un punto de partida fructífero y no invasivo. Las API que permiten a otros utilizar servicios
fundamentales de IA no deberían ser ciegamente abiertas, sino más bien venir con
comprobaciones de “conozca a su cliente”, como ocurre, por ejemplo, con partes de la
industria bancaria.
En el aspecto técnico, hay margen para mecanismos de supervisión específicos, lo que
algunos investigadores han llamado “supervisión escalable” de “sistemas que
potencialmente nos superan en la mayoría de las habilidades relevantes para la tarea en
cuestión”. Esta propuesta trata de verificar matemáticamente la naturaleza no dañina de los
algoritmos, lo que requiere pruebas estrictas del modelo que signifiquen que las acciones o
resultados están demostrablemente limitados. Esencialmente, se incorporan registros
garantizados de actividad y límites en torno a las capacidades. Verificar y validar el
comportamiento de un modelo de esta manera puede proporcionar potencialmente un
medio objetivo y formal para guiar y rastrear un sistema.
Otro ejemplo prometedor de un nuevo mecanismo de supervisión es SecureDNA, un
programa sin fines de lucro iniciado por un grupo de científicos y especialistas en seguridad.
En la actualidad, sólo una fracción del ADN sintetizado se analiza en busca de elementos
potencialmente peligrosos, pero un esfuerzo global como el programa SecureDNA para
conectar cada sintetizador (de mesa en casa o grande y remoto) a un sistema centralizado,
seguro y encriptado que pueda escanear en busca de patógenos secuencias es un gran
comienzo. Si las personas imprimen secuencias potencialmente dañinas, se les marca.
Basado en la nube, gratuito, criptográficamente seguro, se actualiza en tiempo real.
La detección de toda la síntesis de ADN supondría una importante reducción del riesgo
biológico ejercer y, en mi opinión, no limitaría indebidamente las libertades civiles. Esto no
detendría un mercado negro a largo plazo, pero construir sintetizadores que no cumplan con
las normas o piratear un sistema existente introduce un obstáculo no trivial. La verificación
previa de la síntesis de ADN o la entrada de datos a los modelos de IA adelantaría las
auditorías antes de que se implementaran los sistemas, lo que reduciría el riesgo.
En la actualidad, los enfoques para la vigilancia del surgimiento de nuevas tecnologías,
o su uso indebido por parte de Estados hostiles y otros actores, difieren en todo el mundo.
Es un panorama desigual: una mezcla de información de fuente abierta a menudo opaca,
investigación académica y, en algunos casos, vigilancia clandestina. Es un campo minado
legal y político, donde los umbrales para la intrusión son muy variados y, en el peor de los
casos, deliberadamente oscurecidos. Podemos hacerlo mejor. La transparencia no puede ser
opcional. Tiene que haber una ruta legal bien definida para verificar cualquier tecnología
nueva bajo el capó, en el código, en el laboratorio, en la fábrica o en el exterior.
 La mayor parte de esto debería llevarse a cabo de forma voluntaria, en colaboración con
los productores de tecnología. Cuando no se pueda hacer de esa manera, la legislación debe
imponer la cooperación. Y si eso no funciona, se podrían considerar enfoques alternativos,
como el desarrollo de salvaguardias técnicas (incluidas en algunos casos puertas traseras
cifradas) para proporcionar un sistema de entrada verificable controlado por el poder
judicial o un organismo independiente equivalente con sanción pública.
Cuando las fuerzas del orden o los reguladores presentaran un caso para acceder a
cualquier sistema público o privado, esto se decidiría en función de los méritos del caso. Del
mismo modo, los libros de contabilidad criptográficos que registren cualquier copia o
intercambio de un modelo, sistema o conocimiento ayudarían a rastrear su proliferación y
uso. Fusionar mecanismos de contención social y tecnológica como este es fundamental. Los
detalles necesitan nueva investigación y debate público. Necesitaremos encontrar un
equilibrio nuevo, seguro y del que sea difícil abusar entre vigilancia y seguridad que funcione
para la ola que se avecina.
Las leyes, los tratados y las brillantes soluciones técnicas están muy bien. Pero todavía
necesitan alinearse y controlarse, y hacerlo sin recurrir a medios draconianos de control.
Construir tecnologías como estas iniciativas está lejos de ser aburrido; es uno de los desafíos
técnicos y sociales más estimulantes del siglo XXI. Implementar tanto características técnicas
de seguridad como medidas de auditoría es vital, pero se necesita algo que no tenemos.
Tiempo.

3. PUNTOS DE ESTILO: GANA TIEMPO

Xi Jinping estaba preocupado. “Dependemos de las importaciones para algunos dispositivos,

componentes y materias primas críticos”, dijo el presidente chino a un grupo de científicos
del país en septiembre de 2020. De manera inquietante, las “tecnologías clave y centrales”
que él consideraba tan vitales para el futuro y la seguridad geopolítica de China estaban
"controlados por otros". De hecho, China gasta más en importar chips que en petróleo. No
hay muchas cosas que inquieten públicamente a los dirigentes chinos, pero al haber fijado
su estrategia a largo plazo en el dominio de la ola venidera, estaban admitiendo una aguda
vulnerabilidad.
Algunos años antes, un periódico administrado por el gobierno había utilizado una
imagen más gráfica para describir el mismo problema: decía que la tecnología china estaba
limitada por una serie de “puntos de estrangulamiento”. Si alguien iba a presionar esos
puntos críticos, bueno, las implicaciones eran claras.
Los temores de Xi se hicieron realidad el 7 de octubre de 2022. Estados Unidos declaró
la guerra a China, atacando uno de esos puntos críticos. Esto no implicó disparos de misiles
sobre el Estrecho de Taiwán. No hubo un bloqueo naval del Mar de China Meridional ni
marines atacando la costa de Fujian. En cambio, provino de una fuente poco probable: el
Departamento de Comercio. Los disparos fueron controles de exportación de
semiconductores avanzados, los chips que respaldan la informática y, por tanto, la
inteligencia artificial.
 Los nuevos controles de exportación han hecho ilegal que las empresas estadounidenses
vendan chips informáticos de alto rendimiento a China y que cualquier empresa comparta
las herramientas para fabricar estos chips o proporcione el conocimiento para reparar los
chips existentes. Los semiconductores más avanzados (que generalmente implican procesos
de menos de catorce nanómetros, es decir, catorce milmillonésimas de metro, distancias que
representan tan solo veinte átomos), incluidos IP, equipos de fabricación, piezas, diseño,
software y servicios, para su uso en áreas como La inteligencia artificial y la
supercomputación están ahora sujetas a estrictas licencias. Las principales empresas
estadounidenses de chips, como NVIDIA y AMD, ya no pueden suministrar a los clientes
chinos los medios y los conocimientos necesarios para producir los chips más avanzados del
mundo. Los ciudadanos estadounidenses que trabajan en semiconductores para empresas
chinas se enfrentan a una elección: conservar sus empleos y perder la ciudadanía
estadounidense, o renunciar inmediatamente.
Fue un rayo caído del cielo, diseñado para aniquilar el control de China sobre el
componente más importante de la tecnología del siglo XXI. Esta no es sólo una arcana disputa
comercial. Esta declaración fue un claxon todopoderoso en Zhongnanhai, el complejo de
liderazgo chino, y se produjo justo cuando el Congreso del Partido Comunista instaló
efectivamente a Xi como gobernante vitalicio. Un ejecutivo de tecnología, que habló de forma
anónima, describió el alcance de la medida: “No están apuntando sólo a aplicaciones
militares, sino que están tratando de bloquear el desarrollo del poder tecnológico de China
por cualquier medio”.
En el corto y mediano plazo, el consenso es que esto va a doler. Los desafíos de construir
esta infraestructura son inmensos, especialmente en las máquinas y técnicas sofisticadas que
producen los chips más avanzados del mundo, un área en la que China está rezagada. Sin
embargo, a largo plazo, eso probablemente no lo detendrá. En cambio, está impulsando un
camino difícil y enormemente costoso, pero aún plausible, hacia la capacidad nacional de
semiconductores. Si se necesitan cientos de miles de millones de dólares (y así será), los
gastarán.
Las empresas chinas ya están encontrando formas de eludir los controles, utilizando
redes de empresas fantasma y fachada y servicios de computación en la nube en terceros
países. NVIDIA, el fabricante estadounidense de los chips de IA más avanzados del mundo,
recientemente modificó retroactivamente sus chips más avanzados para evadir las
sanciones. Sin embargo, nos muestra algo vital: hay al menos una palanca innegable. La ola
puede frenarse, al menos durante un período de tiempo y en algunas zonas.
Ganar tiempo en una era de hiperevolución es invaluable. Es hora de desarrollar más
estrategias de contención. Es hora de incorporar medidas de seguridad adicionales. Es hora
de probar ese interruptor de apagado. Es hora de construir tecnologías defensivas
mejoradas. Es hora de apuntalar el Estado-nación, regular mejor o incluso simplemente
lograr que se apruebe ese proyecto de ley. Es hora de tejer alianzas internacionales.
En este momento, la tecnología está impulsada por el poder de los incentivos más que
por el ritmo de contención. Los controles a las exportaciones, como la táctica de los
semiconductores de los Estados Unidos, tienen todo tipo de implicaciones inciertas para la
competencia entre las grandes potencias, las carreras armamentistas y el futuro, pero casi
todos están de acuerdo en una cosa: esto ralentizará al menos parte del desarrollo
tecnológico en China y, por extensión, el mundo.
 La historia reciente sugiere que a pesar de toda su proliferación global, La tecnología se
basa en unos pocos centros críticos de I+D y comercialización: los puntos de
estrangulamiento. Consideremos estos puntos de notable concentración: Xerox y Apple para
las interfaces, por ejemplo, o DARPA y MIT, o Genentech, Monsanto, Stanford y UCSF para la
ingeniería genética. Es sorprendente cómo este legado está desapareciendo lentamente.
En IA, la mayor parte de las GPU más avanzadas, esenciales para los últimos modelos,
están diseñadas por una sola empresa, la estadounidense NVIDIA. La mayoría de sus chips
son fabricados por una sola empresa, TSMC, en Taiwán, la más avanzada en un solo edificio,
la fábrica más sofisticada y cara del mundo. La maquinaria de TSMC para fabricar estos chips
proviene de un único proveedor, la firma holandesa ASML, con diferencia la empresa
tecnológica más valiosa e importante de Europa. Las máquinas de ASML, que utilizan una
técnica conocida como litografía ultravioleta extrema y producen chips con niveles de
precisión atómica asombrosa, se encuentran entre los productos manufacturados más
complejos de la historia. Estas tres empresas tienen un control absoluto sobre los chips de
última generación, una tecnología tan limitada físicamente que, según una estimación,
cuestan hasta 10.000 millones de dólares por kilogramo.
Las patatas fritas no son el único cuello de botella. La computación en la nube a escala
industrial también está dominada por seis grandes empresas. Por ahora, la AGI es realmente
impulsada por un puñado de grupos con buenos recursos, sobre todo DeepMind y OpenAI.
El tráfico de datos global viaja a través de un número limitado de cables de fibra óptica
agrupados en puntos clave (frente a la costa del suroeste de Inglaterra o Singapur, por
ejemplo). Una crisis de las tierras raras cobalto, niobio y tungsteno podría derribar
industrias enteras. Alrededor del 80 por ciento del cuarzo de alta calidad esencial para
elementos como paneles fotovoltaicos y chips de silicio proviene de una sola mina en
Carolina del Norte. Los sintetizadores de ADN y las computadoras cuánticas no son bienes
de consumo comunes. Las habilidades también son un cuello de botella: el número de
personas que trabajan en todas las tecnologías de vanguardia analizadas en este libro
probablemente no supere las 150.000.
Entonces, a medida que los impactos negativos se vuelven claros, debemos usar estos
puntos críticos para crear factores sensatos que limiten la velocidad, controles sobre la
velocidad del desarrollo, para garantizar mejor que el sentido común se implemente tan
rápido como evoluciona la ciencia. En la práctica, entonces, las medidas de estrangulamiento
deberían aplicarse no sólo a China; podrían aplicarse ampliamente para regular el ritmo de
desarrollo o lanzamiento. Los controles a las exportaciones no son entonces sólo una jugada
geoestratégica sino un experimento vivo, un posible mapa de cómo se puede contener la
tecnología pero no estrangularla por completo. Con el tiempo, todas estas tecnologías se
difundirán ampliamente. Antes de eso, los próximos cinco años aproximadamente serán
absolutamente críticos, una ventana estrecha en la que ciertos puntos de presión aún pueden
ralentizar la tecnología. Mientras la opción esté ahí, tomémosla y ganemos tiempo.

4. FABRICANTES: LOS CRÍTICOS DEBEN CONSTRUIRLO

El hecho de que los incentivos de la tecnología sean imparables no significa que quienes la
construyen no sean responsables de sus creaciones. Al contrario, ellos, nosotros, yo lo
hacemos; la responsabilidad es muy clara. Nadie está obligado a experimentar con
modificaciones genéticas ni a construir grandes modelos lingüísticos. La inevitable difusión
y desarrollo de la tecnología no son una tarjeta para salir libre de la cárcel, una licencia para
construir lo que uno quiera y ver qué sucede. Son más bien un recordatorio contundente de
la necesidad de hacer las cosas bien y de las terribles consecuencias de no hacerlo.
Más que nadie, quienes trabajan en tecnología deben trabajar activamente para resolver
los problemas descritos en este libro. La carga de la prueba y la carga de las soluciones recae
sobre ellos, sobre nosotros. La gente me pregunta a menudo, dado todo esto, ¿por qué
trabajar en IA y crear empresas y herramientas de IA? Aparte de la enorme contribución
positiva que pueden hacer, mi respuesta es que no quiero simplemente hablar y debatir
sobre la contención. Quiero ayudar de manera proactiva a que esto suceda, en la vanguardia,
anticipando hacia dónde se dirige la tecnología. La contención necesita tecnólogos
completamente concentrados en hacerla realidad.
Los críticos de la tecnología también desempeñan aquí un papel vital. Quedarse al
margen y gritar, enfadarse en Twitter y escribir artículos largos y oscuros que describan los
problemas está muy bien. Pero tales acciones no detendrán la ola que se avecina y, en verdad,
tampoco la cambiarán significativamente. Cuando comencé a trabajar profesionalmente, la
visión exterior de la tecnología era casi totalmente benigna, incluso entusiasta. Se trataba de
empresas interesantes y amigables que construían un futuro brillante. Eso ha cambiado. Sin
embargo, a medida que las voces de la crítica se han vuelto mucho más fuertes, es notable
cuán pocos y espaciados son sus éxitos.
A su manera, los críticos de la tecnología caen en una forma de trampa de pesimismo-
aversión que está arraigada en las elites tecno/políticas/empresariales. Muchos de los que
ridiculizan a los tecnólogos demasiado optimistas se limitan a escribir marcos teóricos de
supervisión o artículos de opinión que exigen regulación. Si se cree que la tecnología es
importante y poderosa, y se siguen las implicaciones de estas críticas, dichas respuestas son
claramente inadecuadas. Incluso los críticos eluden la verdadera realidad frente a ellos. De
hecho, a veces las críticas estridentes simplemente se convierten en parte del mismo ciclo de
exageración que la tecnología misma.
Los críticos creíbles deben ser profesionales. Construir la tecnología adecuada, disponer
de los medios prácticos para cambiar su curso, no sólo observar y comentar, sino mostrar
activamente el camino, realizar el cambio y efectuar las acciones necesarias en origen,
significa que los críticos deben participar. No soportan gritar desde la barrera. Esto no es en
modo alguno un argumento contra las críticas, sino todo lo contrario. Es un reconocimiento
de que la tecnología necesita profundamente críticos, en todos los niveles, pero
especialmente en las primeras líneas, construyendo y haciendo, lidiando con la realidad
cotidiana tangible de la creación. Si estás leyendo esto y eres crítico, entonces hay una
respuesta clara: involucrate.
Reconozco plenamente que esto no hace que la vida sea fácil. Aquí no hay un lugar
cómodo. Es imposible no reconocer algunas de las paradojas. Significa que personas como
yo tenemos que enfrentar la perspectiva de que, además de intentar crear herramientas
positivas y prevenir malos resultados, podemos acelerar sin darnos cuenta las mismas cosas
que estamos tratando de evitar, al igual que los investigadores de ganancia de función con
sus experimentos virales. Las tecnologías que desarrollo bien pueden causar algún daño.
Personalmente seguiré cometiendo errores, a pesar de mis mejores esfuerzos por aprender
y mejorar. He luchado con este punto durante años: ¿resistir o involucrarme? Cuanto más
cerca esté del corazón palpitante de una tecnología, más podrá afectar los resultados,
orientarla en direcciones más positivas y bloquear aplicaciones dañinas. Pero esto también
significa ser parte de lo que lo hace realidad, por todo el bien y por todo el daño que pueda
causar.
No tengo todas las respuestas. Constantemente cuestiono mis elecciones. Pero la única
otra opción es renunciar por completo a la tarea de construir. Los tecnólogos no pueden ser
arquitectos del futuro distantes y desconectados, escuchándose sólo a sí mismos. Sin críticas
externas ni internas, el dilema se precipita hacia nosotros inexorablemente. Con ellos, hay
una mejor oportunidad de construir tecnología que no dañe más al Estado-nación, que sea
menos propensa a fallas catastróficas y que no ayude a aumentar las posibilidades de
distopías autoritarias. Hace diez años, la industria tecnológica también era monocultural, en
todos los sentidos de la palabra. Eso ha empezado a cambiar y ahora hay más diversidad
intelectual que nunca, incluidas voces más críticas, éticas y humanistas en el propio proceso
de desarrollo.
Cuando cofundé DeepMind, incorporar las preocupaciones de seguridad y ética en el
tejido central de una empresa de tecnología me pareció novedoso. El simple hecho de usar
la palabra “ética” en este contexto me provocó miradas universalmente extrañas; hoy, en
cambio, lamentablemente corre el peligro de convertirse en otra palabra de moda que se
utiliza en exceso. Sin embargo, ha llevado a un cambio real, abriendo oportunidades
significativas para la discusión y la contestación. Es prometedor que la investigación sobre
la IA ética se haya disparado: se ha quintuplicado el número de publicaciones desde 2014.
En el lado de la industria, este crecimiento es aún más rápido; La investigación ética de IA
con afiliaciones industriales ha aumentado un 70 por ciento año tras año. Alguna vez habría
sido extraño encontrar filósofos morales, politólogos y antropólogos culturales trabajando
en tecnología, pero ahora no lo es tanto. Sin embargo, todavía son demasiado comunes las
grandes deficiencias a la hora de incorporar perspectivas no técnicas y voces diversas al
debate: la tecnología contenida es un proyecto que requiere todo tipo de disciplinas y
perspectivas. La contratación proactiva a tal efecto es imprescindible.
En un mundo de incentivos arraigados y regulación deficiente, la tecnología necesita
críticos no sólo en el exterior sino también en su corazón.

5. NEGOCIOS: BENEFICIO + PROPÓSITO

Las ganancias impulsan la ola que se avecina. No hay camino hacia la seguridad que no
reconozca y enfrente este hecho. Cuando se trata de tecnologías exponenciales como la
inteligencia artificial y la biología sintética, debemos encontrar nuevos modelos comerciales
responsables e inclusivos que incentiven la seguridad y las ganancias por igual. Debería ser
posible crear empresas mejor adaptadas a contener la tecnología por defecto. Otros y yo
hemos estado experimentando con este desafío durante mucho tiempo, pero hasta la fecha
los resultados han sido mixtos.
 Las corporaciones tradicionalmente tienen un objetivo único e inequívoco: la
rentabilidad para los accionistas. En su mayor parte, esto significa el desarrollo sin
obstáculos de nuevas tecnologías. Si bien este ha sido un poderoso motor de progreso en la
historia, no es adecuado para contener la ola que se avecina. Creo que encontrar formas de
conciliar las ganancias y el propósito social en estructuras organizativas híbridas es la mejor
manera de afrontar los desafíos que tenemos por delante, pero lograr que funcione en la
práctica es increíblemente difícil.
Desde el comienzo de DeepMind, fue importante para mí que tuviéramos en cuenta
modelos de gobernanza iguales a nuestro objetivo final. Cuando Google nos adquirió en
2014, diseñé una “junta de ética y seguridad” para supervisar nuestras tecnologías, y esto
fue una condición para la adquisición. Incluso entonces nos dimos cuenta de que si
tuviéramos éxito en lograr nuestra misión de construir una verdadera AGI, se
desencadenaría una fuerza mucho más allá de lo que razonablemente se podría esperar que
fuera propiedad y controlada por una sola corporación. Queríamos asegurarnos de que
Google entendiera esto y se comprometiera a ampliar nuestra gobernanza más allá de
nosotros, los tecnólogos. En última instancia, quería crear un foro global de múltiples partes
interesadas para decidir qué pasaría con la AGI cuando se lograra o si se lograra, una especie
de instituto mundial democrático para la IA. Me parecía que cuanto más poderosa era una
tecnología, más importante era tener múltiples perspectivas para controlarla y obtener
acceso a ella.
Después de nuestra adquisición por parte de Google, mis cofundadores y yo pasamos
años tratando de incorporar una carta de ética en el tejido legal de la empresa, discutiendo
interminablemente sobre qué parte de esta carta podría ser pública, qué parte del trabajo de
DeepMind podría estar sujeto a más supervisión y escrutinio independientes. Nuestro
objetivo en estas discusiones siempre fue garantizar que una tecnología sin precedentes
fuera acompañada de una gobernanza sin precedentes. Nuestra propuesta era convertir a
DeepMind en una nueva forma de “empresa de interés global”, con un consejo de
administración totalmente independiente, separado y además del consejo de administración
encargado de gestionar operativamente la empresa. La membresía, la toma de decisiones e
incluso algunos de los razonamientos de la junta serían más públicos. Transparencia,
responsabilidad, ética: estas no serían sólo relaciones públicas corporativas sino
fundamentales, legalmente vinculantes e integradas en todo lo que la empresa lo hizo.
Sentimos que esto nos permitiría trabajar de manera abierta, aprendiendo de manera
proactiva cómo las empresas podrían ser administradores resilientes y modernos a largo
plazo de tecnologías exponenciales.
Establecimos una forma plausible de reinvertir los beneficios de la IA en una misión ética
y social. La empresa escindida estaría “limitada por garantía”, sin accionistas pero con la
obligación de proporcionar a Alphabet, el principal financiador, una licencia tecnológica
exclusiva. Como parte de su misión social y científica, DeepMind utilizaría una gran parte de
sus ganancias para trabajar en tecnologías de servicio público que podrían ser valiosas solo
años después: cosas como la captura y el almacenamiento de carbono, la limpieza de los
océanos, los robots que comen plástico o la energía nuclear. fusión. El trato era que
podríamos hacer algunos de nuestros principales avances en código abierto, muy parecido a
un laboratorio académico. La propiedad intelectual principal del negocio de búsqueda de
Google permanecería en Google, pero el resto estaría disponible para que nosotros
avancemos en la misión social de DeepMind, trabajando en nuevos medicamentos, mejor
atención médica, cambio climático, etc. Significaría que los inversores podrían ser
recompensados, pero también garantizaría que el propósito social estuviera en el ADN legal
de la empresa.
En retrospectiva, fue demasiado para Google en ese momento. Se contrató a los
abogados, se llevaron a cabo años de intensas negociaciones, pero no parecía haber una
manera de cuadrar el círculo. Al final no pudimos encontrar una respuesta que satisficiera a
todos. DeepMind continuó como una unidad normal dentro de Google sin independencia
legal formal, operando simplemente como una marca separada. Fue una lección fundamental
para mí: el capitalismo accionarial funciona porque es simple y claro, y los modelos de
gobernanza también tienden a optar por lo simple y claro. En el modelo de accionistas, las
líneas de responsabilidad y seguimiento del desempeño están cuantificadas y son muy
transparentes. Quizás sea posible diseñar estructuras más modernas en teoría, pero
operarlas en la práctica es otra historia.
Durante mi tiempo en Google, continué trabajando en esfuerzos experimentales para
crear estructuras de gobernanza innovadoras. Redacté los Principios de IA de Google y formé
parte del equipo que lanzó el consejo asesor de ética de IA, formado por eminentes expertos
independientes en derecho, tecnología y ética. El objetivo de ambos era dar los primeros
pasos hacia el establecimiento de una carta sobre cómo Google maneja tecnologías de
vanguardia como la inteligencia artificial y la computación cuántica. Nuestra ambición era
invitar un grupo diverso de partes interesadas externas para obtener acceso privilegiado a
la frontera técnica, dar retroalimentación y proporcionar perspectivas externas muy
necesarias de aquellos que están lejos del entusiasmo y el optimismo de construir nuevas
tecnologías.
Sin embargo, el consejo se vino abajo días después de su anuncio. Algunos empleados de
Google se opusieron al nombramiento de Kay Coles James, presidenta de la Heritage
Foundation, un grupo de expertos conservador con sede en Washington. Había sido
nombrada junto con una variedad de figuras de izquierda y centro, pero rápidamente se
lanzó una campaña dentro de Google para eliminarla. Al formar una coalición con empleados
de Twitter, los activistas señalaron que ella había hecho una serie de comentarios anti-trans
y anti-LGBTQ a lo largo de los años, incluido el más reciente: "Si pueden cambiar la definición
de mujer para incluir a los hombres, pueden hacerlo". borrar los esfuerzos para empoderar
a las mujeres económica, social y políticamente”. Si bien personalmente no estaba de acuerdo
con sus comentarios y posiciones políticas, defendí nuestra decisión de pedirle que se uniera
a la junta, argumentando que toda la gama de valores y perspectivas merecían ser
escuchadas. Después de todo, Google es una empresa global con usuarios globales, algunos
de los cuales podrían compartir esta opinión.
Muchos empleados de Google y activistas externos no estuvieron de acuerdo y pocos
días después del anuncio publicaron una carta abierta exigiendo la destitución de James del
consejo. El personal y otras personas estaban presionando activamente a los campus
universitarios para que retiraran la financiación académica a otros miembros de la junta que
se negaban a dimitir, argumentando que su participación continua sólo podía entenderse
como una condonación de la transfobia. Al final, tres miembros dimitieron y el esfuerzo fue
descartado por completo en menos de una semana. Desafortunadamente, el ambiente
político era excesivo tanto para las figuras públicas como para una empresa pública.
 Una vez más, mis intentos de repensar el mandato corporativo fracasaron, aun cuando
estimularon la conversación y ayudaron a poner sobre la mesa algunas discusiones difíciles,
tanto en Alphabet como en círculos políticos, académicos e industriales más amplios. Qué
equipos y qué investigaciones se financian, cómo se prueban los productos, qué controles y
revisiones internos existen, cuánto escrutinio externo es apropiado, qué partes interesadas
deben incluirse: los líderes de alto nivel de Alphabet y otros lugares comenzaron a tener
estas conversaciones de forma regular. .
En las empresas de tecnología, los tipos de debates sobre la seguridad de la IA que
parecían marginales hace una década ahora se están volviendo rutinarios. La necesidad de
equilibrar los beneficios con una contribución positiva y una seguridad de vanguardia es
aceptada en principio por todos los grandes grupos tecnológicos estadounidenses. A pesar
de la asombrosa escala de las recompensas que se ofrecen, tanto los empresarios como los
ejecutivos y empleados deberían seguir impulsando y explorando formas corporativas que
puedan adaptarse mejor al desafío de la contención.
Se están realizando experimentos alentadores. Facebook creó su Junta de Supervisión
independiente, integrada por ex jueces, activistas y académicos expertos para asesorar sobre
la gestión de la plataforma. Ha sido objeto de críticas de todos los sectores y claramente no
“resuelve” el problema por sí solo. Pero es importante comenzar elogiando el esfuerzo y
animando a Facebook y a otros a seguir experimentando. Otro ejemplo es el creciente
movimiento de corporaciones de beneficio público y Empresas B, que siguen siendo
empresas con fines de lucro pero que tienen una misión social inscrita en sus objetivos
legalmente definidos. El siguiente paso son las empresas de tecnología que cuentan con
sólidos mecanismos de contención y objetivos escritos como un deber fiduciario. Hay
muchas posibilidades de que se produzcan cambios positivos en este caso, dado el
crecimiento de estas estructuras corporativas alternativas (más de diez mil empresas
utilizan ahora la estructura B Corp). Si bien los objetivos económicos no siempre se alinean
bien con la tecnología contenida, las formas corporativas innovadoras lo hacen más
probable. Este es el tipo de experimentación que se necesita.
La contención necesita una nueva generación de corporaciones. Necesita fundadores y
quienes trabajan en tecnología para contribuir positivamente a la sociedad. También
necesita algo mucho más difícil. Necesita política.

6. GOBIERNOS: SOBREVIVIR,
REFORMAR, REGULAR

Los problemas tecnológicos requieren soluciones tecnológicas, como hemos visto, pero por
sí solas nunca son suficientes. También necesitamos que el Estado florezca. Se debe apoyar
todo esfuerzo por apuntalar a los Estados democráticos liberales y fortalecerlos contra los
factores estresantes. Los Estados-nación todavía controlan muchos elementos
fundamentales de la civilización: el derecho, la oferta monetaria, los impuestos, el ejército,
etc. Eso les ayuda en la tarea que tienen por delante, en la que tendrán que crear y mantener
sistemas sociales resilientes, redes de bienestar, arquitecturas de seguridad y mecanismos
de gobernanza capaces de sobrevivir a tensiones graves. Pero también necesitan saber en
detalle qué está pasando: ahora mismo están operando a ciegas en medio de un huracán.
El físico Richard Feynman dijo la famosa frase: "Lo que no puedo crear, no lo entiendo".
Hoy esto no podría ser más cierto en el caso de los gobiernos y la tecnología. Creo que el
gobierno necesita involucrarse mucho más, volver a desarrollar tecnología real, establecer
estándares y fomentar la capacidad interna. Necesita competir por talento y hardware en el
mercado abierto. No hay dos maneras de hacerlo: esto es costoso y conllevará errores
inútiles. Pero los gobiernos proactivos ejercerán un control mucho mayor que si
simplemente encargaran servicios y vivieran de experiencia subcontratada y tecnología de
propiedad y operada en otros lugares.
La rendición de cuentas se logra mediante una comprensión profunda. La propiedad da
control. Ambos requieren que los gobiernos se ensucien las manos. Aunque hoy las empresas
han tomado la iniciativa, gran parte de la investigación fundamental más especulativa
todavía está financiada por los gobiernos. El gasto del gobierno federal de Estados Unidos en
I+D representa una proporción del total históricamente baja (sólo el 20 por ciento), pero aún
así asciende a la nada despreciable cifra de 179 mil millones de dólares al año.
Estas son buenas noticias. Invertir en educación e investigación científica y tecnológica
y apoyar a las empresas tecnológicas nacionales crea un circuito de retroalimentación
positiva en el que los gobiernos tienen un interés directo en la tecnología de punta,
preparados para capitalizar los beneficios y reducir los daños. En pocas palabras, como
socios iguales en la creación de la próxima ola, los gobiernos tienen más posibilidades de
orientarla hacia el interés público general. Tener mucha más experiencia técnica interna,
incluso a un costo considerable, es dinero bien gastado. Los gobiernos no deberían depender
de consultores de gestión, contratistas u otros proveedores externos. Una parte central de la
solución debería ser contar con personal de tiempo completo, muy respetado y
adecuadamente remunerado y competitivo con el sector privado. En cambio, los salarios del
sector privado pueden ser diez veces superiores a sus equivalentes en el sector público en
funciones nacionales críticas: es insostenible.
Su primera tarea debería ser monitorear y comprender mejor los avances tecnológicos.
Los países necesitan entender en detalle, por ejemplo, qué datos suministran sus
poblaciones, cómo y dónde se utilizan, y qué significan; Las administraciones deben tener un
fuerte sentido de la últimas investigaciones, dónde está la frontera, hacia dónde se dirige,
cómo su país puede maximizar las ventajas. Por encima de todo, necesitan registrar todas las
formas en que la tecnología causa daño (tabular cada filtración de laboratorio, cada
ciberataque, cada sesgo de modelo lingüístico, cada violación de la privacidad) de una
manera públicamente transparente para que todos puedan aprender de los fracasos y
mejorar.
Luego, el Estado debe utilizar esta información de manera eficaz, respondiendo en
tiempo real a los problemas que surjan. Los organismos cercanos al poder ejecutivo, como la
Oficina de Política Científica y Tecnológica de la Casa Blanca, son cada vez más influyentes.
Aún se necesita más: en el siglo XXI no tiene sentido tener cargos en el gabinete que aborden
cuestiones como la economía, la educación, la seguridad y la defensa sin una posición
similarmente empoderada y democráticamente responsable en tecnología. El secretario o
ministro de tecnología emergente sigue siendo una rareza gubernamental. No debería ser
así; cada país debería tener uno en la era de la próxima ola.
 La regulación por sí sola no nos lleva a la contención, pero cualquier discusión que no
involucre regulación está condenada al fracaso. La regulación debería centrarse en esos
incentivos, alineando mejor a los individuos, los estados, las empresas y el público en general
con la seguridad y al mismo tiempo incorporando la posibilidad de un freno fuerte. Ciertos
casos de uso, como la IA para campañas electorales, deberían estar prohibidos por ley como
parte del paquete.
Las legislaturas están comenzando a actuar. En 2015 prácticamente no existía
legislación sobre IA. Pero desde 2019 se han aprobado en todo el mundo no menos de setenta
y dos proyectos de ley con la frase “inteligencia artificial”. El Observatorio de Políticas de IA
de la OCDE cuenta en su base de datos no menos de ochocientas políticas de IA de sesenta
países. La Ley de IA de la UE está plagada de problemas, claro, pero hay mucho que elogiar
en sus disposiciones y representa el enfoque y la ambición correctos.
En 2022, la Casa Blanca publicó un anteproyecto para una Declaración de Derechos de
la IA con cinco principios básicos “para ayudar a guiar el diseño, el desarrollo y la
implementación de la inteligencia artificial y otros sistemas automatizados para que
protejan los derechos del público estadounidense”. Los ciudadanos deberían, dice, estar
protegidos de sistemas inseguros e ineficaces y de sesgos algorítmicos. Nadie debería verse
obligado a someterse a la IA. Todo el mundo tiene derecho a decir que no. Esfuerzos como
este deberían recibir un amplio apoyo y una rápida implementación.
Sin embargo, la imaginación de los responsables de las políticas tendrá que estar a la
altura del alcance de la tecnología. El gobierno necesita ir más allá. Por razones
comprensibles, no permitimos que ninguna empresa construya ni opere reactores nucleares
de la forma que considere adecuada. En la práctica, el Estado está íntimamente involucrado
(y vigila de cerca, otorga licencias y gobierna) cada aspecto de su existencia. Con el tiempo,
esto será y debería ser más cierto para la tecnología en general. Hoy cualquiera puede
construir IA. Cualquiera puede montar un laboratorio. En lugar de ello, deberíamos pasar a
un entorno con más licencias. Esto produciría un conjunto más claro de responsabilidades y
mecanismos más estrictos para revocar el acceso y reparar los daños relacionados con las
tecnologías avanzadas. Los sistemas de inteligencia artificial, los sintetizadores o las
computadoras cuánticas más sofisticados deben ser producidos únicamente por
desarrolladores certificados y responsables. Como parte de su licencia, tendrían que
suscribirse a estándares de seguridad claros y vinculantes, seguir reglas, realizar
evaluaciones de riesgos, mantener registros y monitorear de cerca las implementaciones en
vivo. Así como no se puede simplemente lanzar un cohete al espacio sin la aprobación de la
FAA, mañana no deberíamos poder lanzar simplemente una IA de última generación.
Se podrían aplicar diferentes regímenes de licencia según el tamaño o la capacidad del
modelo: cuanto más grande y más capaz sea el modelo, más estrictos serán los requisitos de
licencia. Cuanto más general es un modelo, más probabilidades hay de que represente una
amenaza grave. Esto significa que los laboratorios de IA que trabajen en las capacidades más
fundamentales requerirán una atención especial. Además, esto crea margen para licencias
más granulares, si es necesario, para centrarse en los aspectos específicos del desarrollo:
entrenamiento de modelos, grupos de chips por encima de un tamaño determinado, ciertos
tipos de organismos.
También es necesario reformar completamente los impuestos para financiar la
seguridad y el bienestar mientras atravesamos la mayor transición de creación de valor (del
trabajo al capital) de la historia. Si la tecnología genera perdedores, estos necesitan una
compensación material. Hoy en día, la mano de obra estadounidense está gravada a una tasa
promedio del 25 por ciento, y el equipo y el software a sólo el 5 por ciento. El sistema está
diseñado para permitir que el capital se reproduzca sin fricciones en nombre de la creación
de empresas florecientes. En el futuro, los impuestos deben cambiar el énfasis hacia el
capital, no sólo financiando una redistribución hacia los afectados negativamente, sino
creando una transición más lenta y justa en el proceso. La política fiscal es una válvula
importante para controlar esta transición, un medio para ejercer control sobre esos puntos
críticos y, al mismo tiempo, desarrollar la resiliencia del Estado.
Esto debería incluir un mayor impuesto a las formas más antiguas de capital como la
tierra, la propiedad, las acciones de empresas y otros activos de alto valor y menos líquidos,
así como un nuevo impuesto a la automatización y los sistemas autónomos. A esto a veces se
le llama “impuesto a los robots”; Los economistas del MIT han argumentado que incluso un
impuesto moderado de sólo entre el 1 y el 4 por ciento de su valor podría tener un gran
impacto. Un cambio cuidadosamente calibrado en la carga fiscal alejándola del trabajo
incentivaría la contratación continua y amortiguaría las perturbaciones en la vida familiar.
Los créditos fiscales que complementen los ingresos más bajos podrían ser un amortiguador
inmediato ante el estancamiento o incluso el colapso de los ingresos. Al mismo tiempo, un
programa masivo de recapacitación y un esfuerzo educativo deberían preparar a las
poblaciones vulnerables, crear conciencia sobre los riesgos y aumentar las oportunidades de
involucrarse con las capacidades de la ola. Una renta básica universal (RBU), es decir, una
renta pagada por el Estado para cada ciudadano, independientemente de las circunstancias,
a menudo se ha planteado como la respuesta a las perturbaciones económicas de la ola
venidera. En el futuro, probablemente habrá lugar para iniciativas similares a la RBU; sin
embargo, antes de llegar a eso, hay muchas buenas ideas.
En una era de IA corporativa a gran escala, deberíamos empezar a pensar en impuestos
al capital como este que se aplican a las corporaciones más grandes, no solo a los activos o
ganancias en cuestión. Además, es necesario encontrar mecanismos para gravar a esas
empresas gigantes con impuestos transfronterizos, garantizando que paguen la parte que les
corresponde para mantener el funcionamiento de las sociedades. Se alientan los
experimentos: una porción fija del valor de la empresa, por ejemplo, pagada como dividendo
público mantendría la transferencia de valor a la población en una época de extrema
concentración. En el límite hay una pregunta central sobre quién posee el capital de la
próxima ola; un AGI genuino no puede ser de propiedad privada de la misma manera que,
por ejemplo, un edificio o una flota de camiones. Cuando se trata de tecnología que podría
extender radicalmente la esperanza de vida o las capacidades humanas, claramente tiene
que haber un gran debate desde el principio sobre su distribución.
Quién es capaz de diseñar, desarrollar y desplegar tecnologías como esta es, en última
instancia, una cuestión que deben decidir los gobiernos. Sus palancas, instituciones y campos
de especialización tendrán que evolucionar tan rápidamente como la tecnología, un desafío
generacional para todos los involucrados. una era de la tecnología contenida es, entonces,
una era de tecnología amplia e inteligentemente regulada; sin peros ni peros. Pero, por
supuesto, la regulación en un país tiene un defecto inevitable. Ningún gobierno nacional
puede hacer esto solo.
 7. ALIANZAS: HORA DE TRATADOS

Las armas láser suenan a ciencia ficción. Desafortunadamente, no lo son. A medida que se
desarrolló la tecnología láser, quedó claro que podían causar ceguera. Armado, esto podría
incapacitar a las fuerzas adversarias o, de hecho, a cualquier objetivo. Una nueva e
interesante tecnología civil abría de nuevo la perspectiva de horribles modos de ataque
(aunque hasta la fecha no a la manera de Star Wars ). Nadie quiere ejércitos o bandas
deambulando con láseres cegadores.
Por suerte, no sucedió. El uso de armas láser cegadoras fue prohibido en virtud del
Protocolo de 1995 sobre armas láser cegadoras, una actualización de la Convención sobre
ciertas armas convencionales que prohibía el uso de “armas láser específicamente diseñadas,
como su única función de combate o como una de sus funciones de combate, para causar
ceguera permanente a la visión no mejorada”. Se inscribieron ciento veintiséis países. Como
resultado, las armas láser no son una parte importante del equipo militar ni armas comunes
en las calles.
Por supuesto, los láseres cegadores no son el tipo de tecnologías omniuso de las que
hablamos en este libro. Pero son evidencia de que se puede hacer; una prohibición fuerte
puede funcionar. Se pueden lograr alianzas delicadas y cooperación internacional que
pueden cambiar la historia.
Consideremos estos ejemplos, algunos de los cuales analizamos anteriormente: el
Tratado sobre la no proliferación de armas nucleares; el Protocolo de Montreal que prohíbe
los CFC; la invención, prueba y distribución de una vacuna contra la polio en medio de una
división de la Guerra Fría; la Convención sobre Armas Biológicas, un tratado de desarme que
prohíbe efectivamente las armas biológicas; prohibiciones de municiones en racimo, minas
terrestres, edición genética de seres humanos y políticas de eugenesia; el Acuerdo de París,
cuyo objetivo es limitar las emisiones de carbono y los peores impactos del cambio climático;
el esfuerzo mundial para erradicar la viruela; eliminar gradualmente el plomo en la gasolina;
y poner fin al amianto.
A los países no les gusta más ceder el poder que a las empresas perder ganancias y, sin
embargo, estos son precedentes de los que aprender, fragmentos de esperanza en un
panorama desgarrado por una tecnocompetencia renaciente. Cada uno tenía condiciones y
desafíos específicos que ayudaron a su realización y al mismo tiempo obstaculizaron su
perfecto cumplimiento. Pero cada uno de ellos, de manera crucial, es un valioso ejemplo de
cómo las naciones del mundo se unen y se comprometen a enfrentar un desafío importante,
ofreciendo pistas y marcos para enfrentar la ola venidera. Si un gobierno quisiera prohibir
la biología sintética o las aplicaciones de IA, ¿podría hacerlo? No, claramente no en nada más
que en un sentido parcial y frágil. ¿Pero una alianza poderosa y motivada? Tal vez.
Frente al abismo, la geopolítica puede cambiar rápidamente. En medio de la Segunda
Guerra Mundial, la paz debe haber parecido un sueño. Mientras los aliados seguían luchando
cansinamente, pocos en el terreno podrían haber imaginado que apenas unos años más tarde
sus gobiernos inyectarían miles de millones para reconstruir a sus enemigos. Que, a pesar de
los horribles y genocidas crímenes de guerra, Alemania y Japón pronto se convertirían en
partes fundamentales de una alianza mundial estable. En retrospectiva, parece vertiginoso.
Sólo unos pocos años separan las balas, la amargura y las playas de Normandía e Iwo Jima
de una sólida asociación militar y comercial, una profunda amistad que perdura hasta el día
de hoy y el mayor programa de ayuda exterior jamás intentado.
En el apogeo de la Guerra Fría se mantuvieron contactos de alto nivel a pesar de las
graves tensiones. En el caso de que se libere algo como un AGI deshonesto o un riesgo
biológico importante, este tipo de coordinación de alto nivel será fundamental; sin embargo,
a medida que la nueva Guerra Fría va tomando forma, las divisiones aumentan. Las amenazas
catastróficas son intrínsecamente globales y deberían ser una cuestión de consenso
internacional. Las normas que se limitan a las fronteras nacionales son evidentemente
insuficientes. Si bien todos los países tienen interés en hacer avanzar estas tecnologías,
también tienen una buena causa para reducir sus peores consecuencias. Entonces, ¿cómo se
ven el tratado de no proliferación, el Protocolo de Montreal y el Acuerdo de París para la
próxima ola?
Las armas nucleares son una excepción en parte, pero no sólo, porque son muy difíciles
de construir: las largas y pacientes horas de discusión, las décadas de meticulosas
negociaciones de tratados en la ONU, la colaboración internacional incluso en momentos de
extrema tensión, todo importa cuando se trata de mantenerlos bajo control. La contención
nuclear tiene componentes tanto morales como estratégicos. Alcanzar y hacer cumplir tales
Los acuerdos nunca han sido fáciles, y más en una era de competencia entre grandes
potencias. Por lo tanto, los diplomáticos desempeñan un papel subestimado en la contención
de la tecnología. De la era de las carreras armamentistas debe surgir una era dorada de
tecnodiplomacia. Muchas de las personas con las que he hablado en la comunidad
diplomática son muy conscientes de esto.
Sin embargo, las alianzas también pueden funcionar a nivel de tecnólogos u organismos
subnacionales, decidiendo colectivamente qué financiar y qué rechazar. Un buen ejemplo
aquí proviene de la edición de genes de la línea germinal. Un estudio de 106 países encontró
que la regulación de la edición de genes de la línea germinal es irregular. La mayoría de los
países tienen algún tipo de regulación o lineamientos de políticas, pero existen considerables
divergencias y brechas. No constituye un marco global para una tecnología con alcance
global. Más eficaz hasta la fecha es la colaboración internacional de científicos de primera
línea. A raíz de la primera edición genética de seres humanos, una carta firmada por
luminarias como Eric Lander, Emmanuelle Charpentier y Feng Zhang pedía “una moratoria
global sobre todos los usos clínicos de la edición de la línea germinal humana, es decir,
cambiar el ADN hereditario (en espermatozoides, óvulos o embriones) para producir niños
genéticamente modificados” y “un marco internacional en el que las naciones, aunque
conservan el derecho a tomar sus propias decisiones, se comprometen voluntariamente a no
aprobar ningún uso de la edición clínica de la línea germinal a menos que se cumplan ciertas
condiciones”.
No piden una prohibición permanente, no prohíben la edición de líneas germinales con
fines de investigación y no dicen que todas las naciones deban seguir el mismo camino. Pero
piden que los profesionales se tomen tiempo para armonizar y tomar las decisiones
correctas. Un número suficiente de personas a la vanguardia aún pueden marcar la
diferencia, dando lugar a una pausa, ayudando a crear un espacio y una base para que las
naciones y los organismos internacionales se unan y encuentren una salida.
Anteriormente en este capítulo hablé de las fricciones entre Estados Unidos y China. A
pesar de sus diferencias, todavía hay lugares obvios para la colaboración entre estas
potencias en competencia. La biología sintética es un mejor punto de partida que la IA en
este caso, gracias a la menor competencia existente y a la obvia destrucción mutua de las
nuevas amenazas biológicas. El proyecto SecureDNA es un buen ejemplo, que traza un
camino para gobernar la biología sintética de manera similar a cómo se han restringido las
armas químicas. Si China y Estados Unidos pudieran crear, digamos, una observatorio de
riesgos biológicos, que abarca desde I+D avanzada hasta aplicaciones comerciales
implementadas, sería un área preciosa de colaboración sobre la que construir.
China y Estados Unidos también comparten el interés de frenar la larga cola de malos
actores. Dado que un Aum Shinrikyo podría venir de cualquier lugar, ambos países estarán
interesados en frenar la difusión incontrolada de las tecnologías más poderosas del mundo.
Actualmente China y Estados Unidos están en una lucha por establecer estándares
tecnológicos. Pero un enfoque compartido es claramente beneficioso para todos; Los
estándares fragmentados hacen que las cosas sean más difíciles para todos. Otro punto en
común podría ser el mantenimiento de los sistemas criptográficos frente a avances en la
computación cuántica o el aprendizaje automático que podrían socavarlos. Cada uno de ellos
podría allanar el camino para un compromiso más amplio. A medida que avanza el siglo,
habrá que volver a aprender la lección de la Guerra Fría: no hay camino hacia la seguridad
tecnológica sin trabajar con los adversarios.
Más allá de alentar iniciativas bilaterales, lo obvio en esta etapa es proponer la creación
de algún nuevo tipo de institución global dedicada a la tecnología. Lo he oído decir muchas,
muchas veces: ¿Cómo sería un Banco Mundial para la biotecnología o una ONU para la IA?
¿Podría una colaboración internacional segura ser la manera de abordar un tema tan
desalentador y complejo como la AGI? ¿Quién es el árbitro final, el prestamista de último
recurso por así decirlo, el organismo que cuando se le pregunta “¿Quién contiene la
tecnología?” ¿Puede levantar la mano?
Necesitamos el equivalente de nuestra generación al tratado nuclear para dar forma a
un enfoque mundial común; en este caso, no frenar la proliferación por completo, sino
establecer límites y construir marcos para la gestión y la mitigación que, como la ola,
trasciendan fronteras. Esto pondría límites claros al trabajo que se realiza, mediaría entre
los esfuerzos nacionales de concesión de licencias y crearía un marco para revisar ambos.
Donde hay un margen claro para un nuevo organismo u organismos es en cuestiones
técnicas. Se necesita urgentemente un regulador dedicado que navegue por la geopolítica
polémica (tanto como sea posible), evite extralimitaciones y realice una función de
monitoreo pragmático sobre criterios ampliamente objetivos. Piense en algo como la
Agencia Internacional de Energía Atómica o incluso un organismo comercial como el
Transporte Aéreo Internacional. Asociación. En lugar de tener una organización que regule,
construya o controle directamente la tecnología, comenzaría con algo así como una
Autoridad de Auditoría de IA: la AAA. Centrada en la investigación de hechos y la auditoría
de la escala del modelo y cuando se cruzan los umbrales de capacidad, la AAA aumentaría la
transparencia global en la frontera, planteando preguntas como: ¿El sistema muestra signos
de poder automejorar sus capacidades? ¿Puede especificar sus propios objetivos? ¿Puede
adquirir más recursos sin supervisión humana? ¿Está deliberadamente entrenado en el
engaño o la manipulación? Comisiones de auditoría similares podrían operar en casi todas
las áreas de la ola y, nuevamente, ofrecerían una base para los esfuerzos gubernamentales
de concesión de licencias y al mismo tiempo ayudarían a impulsar un tratado de no
proliferación.
El realismo duro tiene muchas más posibilidades de éxito que las propuestas vagas e
improbables. No necesitamos reinventar totalmente la rueda institucional, creando más
oportunidades para la rivalidad y la grandilocuencia. Deberíamos encontrar todos los
medios posibles para mejorarlo... y rápido.

8. CULTURA:
ABRAZAR RESPETUOSAMENTE EL FRACASO

El hilo común aquí es la gobernanza: de los sistemas de software, de los microchips, de las
empresas y los institutos de investigación, de los países y de la comunidad internacional. En
cada nivel hay una maraña de incentivos, costos hundidos, inercia institucional, feudos en
conflicto y visiones del mundo que deben eliminarse. No cometer errores. La ética, la
seguridad y la contención serán, sobre todo, productos de una buena gobernanza. Pero la
buena gobernanza no surge únicamente de reglas bien definidas y marcos institucionales
eficaces.
En los primeros días de los motores a reacción, en la década de 1950, los accidentes (y
las muertes) eran preocupantemente comunes. A principios de la década de 2010, la cifra
era de solo una muerte por cada 7,4 millones de pasajeros que subían. Transcurren años sin
que se produzca ningún accidente mortal en el que se hayan visto implicados aviones
comerciales estadounidenses. Volar es prácticamente el medio de transporte más seguro que
existe: sentarse a diez mil metros de altura es más seguro que sentarse en el sofá de casa.
El impresionante historial de seguridad de las aerolíneas se reduce a numerosas mejoras
técnicas y operativas incrementales a lo largo de los años. Pero detrás de ellos hay algo
igualmente importante: la cultura. La industria de la aviación adopta un enfoque enérgico
para aprender de los errores en todos los niveles. Los accidentes no son sólo accidentes
trágicos que hay que lamentar; son experiencias de aprendizaje fundamentales para
determinar cómo fallan los sistemas, oportunidades para diagnosticar problemas,
solucionarlos y compartir ese conocimiento en toda la industria. Por lo tanto, las mejores
prácticas no son secretos corporativos, una ventaja sobre las aerolíneas rivales: los
competidores las implementan con entusiasmo en aras de los intereses comunes de la
confianza y la seguridad colectivas de la industria.
Eso es lo que se necesita para la próxima ola: una aceptación real y visceral de todos los
involucrados en las tecnologías de vanguardia. Está muy bien idear y promover iniciativas y
políticas de ética y seguridad, pero es necesario que las personas que las ejecutan realmente
crean en ellas.
Si bien la industria tecnológica habla mucho cuando se trata de “aceptar el fracaso”, rara
vez lo hace cuando se trata de privacidad, seguridad o violaciones técnicas. Lanzar un
producto que no tiene éxito es una cosa, pero poseer un modelo de lenguaje que provoca un
apocalipsis de desinformación o un medicamento que provoca reacciones adversas es mucho
más incómodo. Las críticas a la tecnología son, no sin buenas razones, implacablemente
feroces. La competencia también. Una consecuencia es que tan pronto como una nueva
tecnología o producto falla, se impone una cultura de secretismo. La apertura y la confianza
mutua que caracterizan partes del proceso de desarrollo se pierden. Las oportunidades de
aprender y luego difundir ese aprendizaje desaparecen. Incluso admitir errores y abrir las
compuertas se considera un riesgo, un no-no corporativo.
El miedo al fracaso y al oprobio público está conduciendo a la estasis. La notificación
inmediata de los problemas por parte de los propios individuos debería ser un punto de
partida tanto para las personas como para las organizaciones. Pero en lugar de ser elogiados
por su experimentación, las empresas y los equipos son abandonados. Hacer lo correcto sólo
desencadena una reacción de cinismo, Twitter incendiario y una puntuación pública cruel.
¿Por qué alguien admitiría sus errores en este contexto? Esto tiene que terminar si queremos
producir tecnologías mejores, más responsables y más controlables.
Aceptar el fracaso debe ser real, no una frase hecha. Para empezar, debería ser
completamente abierto acerca de los fracasos, incluso en temas incómodos. recibió elogios,
no insultos. Lo primero que debe hacer una empresa de tecnología cuando se encuentra con
cualquier tipo de riesgo, desventaja o modo de falla es comunicarse de manera segura con el
resto del mundo. Cuando un laboratorio tiene una fuga, lo primero que debe hacer es
publicitar el hecho, no encubrirlo. Lo primero que deben hacer otros actores en el espacio
(otras empresas, grupos de investigación, gobiernos) es escuchar, reflexionar, ofrecer apoyo
y, lo más importante, aprender e implementar activamente ese aprendizaje. Esta actitud
salvó miles de vidas en el cielo. Podría ahorrar millones más en los próximos años.
La contención no puede consistir únicamente en tal o cual política, lista de verificación
o iniciativa, sino que debe garantizar que exista una cultura autocrítica que quiera
implementarlas activamente, que agradezca tener reguladores en la sala, en el laboratorio,
una cultura donde los reguladores quieren aprender de los tecnólogos y viceversa. Necesita
que todos lo quieran, lo posean y lo amen. De lo contrario, la seguridad queda en el último
momento. Entre muchos, y no sólo en la IA, existe la sensación de que somos “sólo”
investigadores, “sólo” explorando y experimentando. Ese no ha sido el caso durante años y
es un excelente ejemplo de dónde necesitamos un cambio cultural. Se debe alentar a los
investigadores a que se aparten de la constante prisa por publicar. El conocimiento es un
bien público, pero ya no debería ser el valor predeterminado. Quienes realizan activamente
investigaciones de vanguardia deben ser los primeros en reconocer esto, como ya lo han
hecho sus pares en las áreas de física nuclear y virología. En IA, capacidades como la
superación personal recursiva y la autonomía son, creo, límites que no debemos cruzar. Esto
tendrá componentes técnicos y legales, pero también necesitará la aceptación moral,
emocional y cultural de las personas y organizaciones más cercanas.
En 1973, uno de los inventores de la ingeniería genética, Paul Berg, reunió a un grupo de
científicos en la península de Monterey en California. Había comenzado a preocuparse por lo
que su invento podría desencadenar y quería establecer algunas reglas básicas y
fundamentos morales para seguir adelante. En el centro de conferencias de Asilomar,
plantearon las difíciles preguntas que plantea esta nueva disciplina: ¿Deberíamos empezar a
modificar genéticamente a los seres humanos? Si es así, ¿qué rasgos podrían estar
permitidos? Dos años más tarde regresaron en cantidades aún mayores para la Conferencia
de Asilomar sobre ADN Recombinante. Lo que está en juego en ese hotel bañado por el mar
eran altos. Fue un punto de inflexión en las biociencias, al establecer principios duraderos
para regir la investigación genética y la tecnología que fijaron pautas y límites morales sobre
los experimentos que podían llevarse a cabo.
Asistí a una conferencia en Puerto Rico en 2015 que tenía como objetivo hacer algo
similar para la IA. Con un grupo mixto, quería elevar el perfil de la seguridad de la IA,
comenzar a construir una cultura de precaución y esbozar respuestas reales. Nos reunimos
nuevamente en 2017, en el lugar simbólico de Asilomar, para redactar un conjunto de
principios de IA que yo, junto con muchos otros en el campo, firmamos. Se trataba de
construir una cultura explícitamente responsable de la investigación de la IA e inspiraron
una serie de iniciativas adicionales. A medida que la ola siga creciendo, necesitaremos
regresar conscientemente una y otra vez al espíritu (y a la letra) de Asilomar.
Durante milenios, el juramento hipocrático ha sido un polo moral para la profesión
médica. En latín, Primum non nocere. Primero, no hagas daño. El premio Nobel de la Paz y
científico británico-polaco Joseph Rotblat, un hombre que abandonó Los Álamos por motivos
de conciencia, argumentó que los científicos necesitan algo similar. Creía que la
responsabilidad social y moral no era algo que ningún científico pudiera dejar de lado. Estoy
de acuerdo, y deberíamos considerar una versión contemporánea para los tecnólogos:
preguntar no sólo qué significa no hacer daño en una era de algoritmos que abarcan todo el
mundo y genomas editados, sino cómo eso puede implementarse diariamente en
circunstancias a menudo moralmente ambiguas.
Principios de precaución como este son un buen primer paso. Haga una pausa antes de
construir, haga una pausa antes de publicar, revise todo, siéntese y analice los impactos de
segundo, tercer y enésimo orden. Encuentra toda la evidencia y mírala fríamente. Curso
correcto sin descanso. Esté dispuesto a parar. Haga todo esto no sólo porque así lo dice de
alguna forma, sino porque es lo correcto, es lo que hacen los tecnólogos.
Acciones como ésta no pueden funcionar simplemente como leyes o mantras
corporativos. Las leyes son sólo mantras nacionales, corporativos, transitorios y con
demasiada frecuencia cosméticos. En cambio, deben operar a un nivel más profundo en el
que la cultura de la tecnología no sea esa “mentalidad de ingeniería” de ir a por todas, sino
algo más cauteloso, más curioso sobre lo que podría suceder. Una cultura saludable es
aquella que está feliz de dejar frutos en el árbol, decir no, retrasar los beneficios durante el
tiempo que sea necesario para ser segura, una cultura en la que los tecnólogos recuerdan
que la tecnología es sólo un medio para un fin, no el fin en sí.

9. MOVIMIENTOS: PODER POPULAR

A lo largo de este libro ha aparecido la palabra “nosotros”. Podría haberse referido a

“nosotros” el autor y coautor, “nosotros” los investigadores y empresarios de IA, “nosotros”
la comunidad científica y tecnológica en general, “nosotros” en el Occidente global o
“nosotros” la suma total de humanidad. (Enfrentarse a una tecnología totalmente global y
que altera las especies es uno de los pocos lugares donde realmente se justifica hablar de un
“nosotros” humano).
Cuando la gente habla de tecnología (incluyéndome a mí), a menudo presentan un
argumento como el siguiente. Debido a que construimos tecnología, podemos solucionar los
problemas que crea. Esto es cierto en el sentido más amplio. Pero el problema es que aquí no
existe un “nosotros” funcional. No existe consenso ni mecanismo acordado para formar un
consenso. En realidad, no existe un “nosotros” y ciertamente no hay ninguna palanca que
ningún “nosotros” pueda accionar. Esto debería ser obvio, pero vale la pena repetirlo. Incluso
el presidente de Estados Unidos tiene poderes notablemente limitados para alterar el curso
de, digamos, Internet.
En cambio, innumerables actores distribuidos trabajan a veces juntos y otras veces con
propósitos opuestos. Las empresas y las naciones, como hemos visto, tienen prioridades
divergentes e incentivos fracturados y conflictivos. En su mayor parte, preocupaciones sobre
la tecnología como las descritas en este libro son actividades de élite, buenos temas de
conversación para los salones de clase ejecutiva, artículos de opinión para publicaciones bien
pensantes o temas para las salas de presentaciones de Davos o TED. La mayor parte de la
humanidad todavía no se preocupa por estas cosas de forma sistemática. Fuera de Twitter,
fuera de la burbuja, la mayoría de la gente tiene preocupaciones muy diferentes, otros
problemas exigen atención en un mundo frágil. La comunicación en torno a la IA no siempre
ha ayudado y tiende a caer en narrativas simplistas.
Entonces, si la invocación del gran “nosotros” no tiene sentido en este momento, genera
una continuación obvia: construyamos uno. A lo largo de la historia, el cambio se produjo
porque la gente trabajó conscientemente para lograrlo. La presión popular creó nuevas
normas. La abolición de la esclavitud, el sufragio femenino, los derechos civiles: estos son
enormes logros morales que se produjeron porque la gente luchó duro, formando coaliciones
de base amplia que tomaron en serio una gran reivindicación y luego efectuaron cambios
basados en ella. El clima no se puso en el mapa sólo porque la gente notó que el clima se
volvía más extremo. Se dieron cuenta porque los activistas de base y Los científicos y luego
(algunos) escritores, celebridades, directores ejecutivos y políticos se movilizaron por un
cambio significativo. Y actuaron en consecuencia por el deseo de hacer lo correcto.
Las investigaciones muestran que cuando se les presenta el tema de las tecnologías
emergentes y sus riesgos, a la gente realmente le importa y quiere encontrar soluciones.
Aunque muchos de los daños aún están lejos, creo que la gente es perfectamente capaz de
leer las runas aquí. Todavía tengo que encontrar a alguien que haya visto un video de Boston
Dynamics de un perro robot o haya considerado la perspectiva de otra pandemia sin
estremecerse de temor.
He aquí un papel enorme para los movimientos populares. Durante los últimos cinco
años, aproximadamente, un creciente movimiento de la sociedad civil ha comenzado a
resaltar estos problemas. Los medios de comunicación, los sindicatos, las organizaciones
filantrópicas y las campañas de base: todos se están involucrando y buscan de manera
proactiva formas de crear tecnología contenida. Espero que mi generación de fundadores y
constructores impulse estos movimientos en lugar de obstaculizarlos. Mientras tanto, las
asambleas ciudadanas ofrecen un mecanismo para incorporar a un grupo más amplio a la
conversación. Una propuesta es organizar una lotería para elegir una muestra representativa
de la población para debatir intensamente y presentar propuestas sobre cómo gestionar
estas tecnologías. Si se tuviera acceso a herramientas y asesoramiento, esta sería una forma
de hacer de la contención un proceso más colectivo, atento y fundamentado.
El cambio ocurre cuando la gente lo exige. El “nosotros” que construye la tecnología está
disperso, sujeto a una masa de incentivos nacionales, comerciales y de investigación
diferentes y competitivos. Cuanto más hable claramente con una sola voz el “nosotros” sujeto
a él, una masa pública crítica que agita por el cambio y exige una alineación de enfoques,
mayores serán las posibilidades de obtener buenos resultados. Cualquiera en cualquier lugar
puede marcar la diferencia. Básicamente, ni los tecnólogos ni los gobiernos resolverán este
problema por sí solos. Pero juntos “nosotros” todos podemos hacerlo.

10. EL CAMINO ESTRECHO:

EL ÚNICO CAMINO ES A TRAVÉS

Apenas unos días después del lanzamiento de GPT-4, miles de científicos de IA firmaron una
carta abierta pidiendo una moratoria de seis meses en la investigación de los modelos de IA
más potentes. Haciendo referencia a los principios de Asilomar, Citaron razones familiares
para quienes leen este libro: “En los últimos meses, los laboratorios de IA se han visto
atrapados en una carrera fuera de control para desarrollar y desplegar mentes digitales cada
vez más poderosas que nadie, ni siquiera sus creadores, puede comprender, predecir o
predecir. control confiable”. Poco después, Italia prohibió ChatGPT. Se presentó una queja
contra los LLM ante la Comisión Federal de Comercio con el objetivo de lograr un control
regulatorio mucho más estricto. En la rueda de prensa de la Casa Blanca se formularon
preguntas sobre el riesgo de la IA. Millones de personas discutieron los impactos de la
tecnología, en el trabajo, en la mesa.
Algo se está construyendo. No es contención, pero por primera vez las cuestiones de la
próxima ola están siendo tratadas con la urgencia que merecen.
Cada una de las ideas esbozadas hasta ahora representa el comienzo de un dique, una
barrera de marea tentativa que comienza con los detalles específicos de la tecnología misma
y se expande hacia el imperativo de formar un movimiento global masivo para un cambio
positivo. Ninguno de ellos trabaja solo. Sin embargo, si se unen medidas como ésta, se
vislumbra un esquema de contención.
Un buen ejemplo es el del biotecnólogo del MIT Kevin Esvelt. Pocas personas han
considerado las amenazas a la bioseguridad con más detalle. ¿Esos patógenos
personalizados diseñados para causar el máximo de muertes? Kevin está decidido a utilizar
todas las herramientas para evitar que sucedan. Su programa es una de las estrategias de
contención más holísticas que existen. Se basa en tres pilares: retrasar, detectar y defender.
Para retrasarlo, se hace eco del lenguaje de la tecnología nuclear y propone un “tratado
de prohibición de ensayos pandémicos”, un acuerdo internacional para detener la
experimentación con los materiales más patógenos. Se prohibiría cualquier experimento que
aumentara seriamente el riesgo de una pandemia, incluida la investigación de ganancia de
función. También aboga por un régimen de seguro y responsabilidad completamente nuevo
para cualquiera que trabaje con virus u otros biomateriales potencialmente dañinos.
Aumentaría los costos de la responsabilidad de una manera inmediatamente tangible al
incluir literalmente en el precio de la investigación consecuencias poco probables pero
catastróficas (actualmente externalidades negativas que soportan todos los demás). No sólo
las instituciones que realizan investigaciones potencialmente peligrosas tendrían que
contratar un seguro adicional, sino que una ley de activación significaría cualquier persona
que se demuestre ser responsable de un riesgo biológico importante o un evento catastrófico
sería responsable.
La detección de ADN en todos los sintetizadores es una necesidad absoluta y, además,
todo el sistema debe estar basado en la nube para que pueda actualizarse en tiempo real de
acuerdo con las amenazas emergentes y recién comprendidas. Detectar rápidamente un
brote es igualmente importante en este esquema, especialmente para patógenos sutiles con
largos períodos de incubación. Piense en una enfermedad latente durante años. Si no eres
consciente de lo que está pasando, no podrás contenerlo.
Luego, si sucede lo peor, defiende. Los países resilientes y preparados son vitales: las
pandemias más extremas harían difícil incluso mantener los alimentos, la energía, el
suministro de agua, el orden público y la atención médica. Tener existencias de equipos de
protección personal (EPP) a prueba de pandemias de última generación listos para todos los
trabajadores esenciales marcaría una gran diferencia. También lo serían fuertes líneas de
suministro de equipos médicos capaces de resistir una conmoción grave. ¿Esas bombillas de
baja longitud de onda que pueden destruir virus? Deben estar en todas partes, antes de que
comience la pandemia, o al menos estar listos para implementarse.
Junte todos los elementos aquí y obtendrá un esquema de lo que se encontrará y
coincidirá con la ola venidera.

1. Seguridad técnica: Medidas técnicas concretas para paliar posibles daños y mantener el
control.
2. Auditorías: Un medio para garantizar la transparencia y la rendición de cuentas de la
tecnología.
3. Puntos de estrangulamiento: palancas para frenar el desarrollo y ganar tiempo para
los reguladores y las tecnologías defensivas.
4. Creadores: Garantizar que los desarrolladores responsables incorporen controles
adecuados a la tecnología desde el principio.
5. Empresas: Alinear los incentivos de las organizaciones detrás de la tecnología con su
contención.
6. Gobierno: Apoyar a los gobiernos, permitiéndoles desarrollar tecnología, regularla e
implementar medidas de mitigación.
7. Alianzas: Crear un sistema de cooperación internacional para armonizar leyes y
programas.
8. Cultura: Una cultura de compartir aprendizajes y fracasos para difundir rápidamente
medios para abordarlos.
9. Movimientos: Todo esto necesita la participación del público en todos los niveles,
incluso para ejercer presión sobre cada componente y hacerlo responsable.

El paso 10 tiene que ver con la coherencia, garantizar que cada elemento funcione en
armonía con los demás, que la contención sea un círculo virtuoso de medidas que se
refuerzan mutuamente y no una cacofonía llena de lagunas de programas en competencia.
En este sentido, la contención no se trata de tal o cual sugerencia específica, sino que es un
fenómeno emergente de su interacción colectiva, un subproducto de sociedades que
aprenden a gestionar y mitigar los riesgos generados por el Homo technologicus . Un
movimiento por sí solo no va a funcionar, ya sea con patógenos, computadoras cuánticas o
IA, pero un esquema como este gana fuerza a partir de la acumulación cuidadosa de
contramedidas entrelazadas, barreras superpuestas desde tratados internacionales hasta el
refuerzo de la cadena de suministro con nuevas tecnologías protectoras. Propuestas como
“retrasar, detectar y defender” no son, además, estados finales, sino destinos. La seguridad
en el contexto de la ola que se avecina no es un lugar al que lleguemos, sino algo que debe
implementarse continuamente.
La contención no es un lugar de descanso. Es un camino estrecho y sin fin.

EL ECONOMISTA DARON ACEMOGLU y el politólogo James Robinson comparten la opinión de que

las democracias liberales son mucho menos seguras de lo que parecen. Ven al Estado como
un “Leviatán encadenado” inherentemente inestable: vasto y poderoso, pero controlado por
sociedades y normas civiles persistentes. Con el tiempo, países como Estados Unidos
entraron en lo que llaman un “corredor estrecho” que los mantuvo en este precario
equilibrio. A ambos lados de este corredor hay trampas. Por un lado, el poder del Estado
rompe el de la sociedad en general y la domina por completo, creando Leviatanes despóticos
como China. Por otro lado, el Estado se desmorona, produciendo leviatanes ausentes,
zombis, donde el Estado no tiene control real sobre la sociedad, como en lugares como
Somalia o el Líbano. Ambos tienen consecuencias terribles para sus poblaciones.
El punto de vista de Acemoglu y Robinson es que los Estados caminan constantemente
por este corredor. En cualquier momento podrían caer. Por cada aumento de la capacidad
estatal es necesario que haya un aumento correspondiente en la capacidad social para
contrarrestarlo. Hay una presión constante hacia los Leviatanes despóticos que necesita un
peso constante para detenerse. No hay un destino final, ni una existencia feliz, segura y
continua al final del corredor; más bien, es un espacio dinámico e inestable donde las élites
y los ciudadanos cuestionan los resultados y en cualquier momento los Leviatanes
encadenados pueden desaparecer o volverse despóticos. La seguridad es cuestión de
avanzar poco a poco y mantener cuidadosamente el equilibrio.
Creo que esta metáfora se aplica a la forma en que abordamos la tecnología, y no sólo
porque el argumento aquí es que la tecnología ahora hace que ese equilibrio sea mucho más
precario. La tecnología segura y contenida, como la democracia liberal, no es un estado final;
más bien, es un proceso continuo, un delicado equilibrio que debe mantenerse activamente,
por el que se debe luchar y proteger constantemente. No hay un momento en el que digamos,
¡ajá, hemos resuelto el problema de la proliferación de la tecnología! Más bien, se trata de
encontrar una salida, asegurando que un número suficiente de personas se comprometan a
mantener el equilibrio interminable entre apertura y cierre.
En lugar de un corredor, que implica una dirección de viaje clara, imagino la contención
como un camino estrecho y traicionero, envuelto en niebla, un precipicio que se hunde a
ambos lados, catástrofe o distopía a sólo un pequeño resbalón de distancia; no puedes ver
muy lejos y, a medida que avanzas, el camino gira y gira, arroja obstáculos inesperados.
Por un lado, la apertura total a toda experimentación y desarrollo es una receta sencilla
para la catástrofe. Si todos en el mundo pueden jugar con bombas nucleares, en algún
momento tendremos una guerra nuclear. El código abierto ha sido una gran ayuda para el
desarrollo tecnológico y un importante estímulo para un progreso más amplio. Pero no es
una filosofía apropiada para modelos de IA potentes u organismos sintéticos; aquí debería
estar prohibido. No deben compartirse, y mucho menos implementarse o desarrollarse, sin
el debido proceso riguroso.
La seguridad depende de que las cosas no fallen, de que no caigan en las manos
equivocadas, para siempre. Será esencial cierto nivel de vigilancia de Internet, los
sintetizadores de ADN, los programas de investigación AGI, etc. Es doloroso escribir. Cuando
tenía veintitantos años, comencé desde una posición maximalista de la privacidad, creyendo
que los espacios de comunicación y trabajo completamente libres de supervisión eran
derechos fundamentales y partes importantes de una democracia saludable. Sin embargo,
con el paso de los años, a medida que los argumentos se volvieron más claros y la tecnología
se desarrolló cada vez más, actualicé esa visión. Simplemente no es aceptable crear
situaciones en las que la amenaza de resultados catastróficos esté siempre presente. La
inteligencia, la vida y el poder puro no son juguetes y deben tratarse con el respeto, el
cuidado y el control que merecen. Tanto los tecnólogos como el público en general tendrán
que aceptar mayores niveles de supervisión y regulación que nunca antes. Así como la
mayoría de nosotros no querríamos vivir en sociedades sin leyes ni policía, la mayoría de
nosotros tampoco querríamos vivir en un mundo de tecnología sin restricciones.
alguna medida de lucha contra la proliferación. Y sí, no rehuyamos los hechos; eso
significa censura real, posiblemente mucho más allá de las fronteras nacionales. Hay
ocasiones en las que esto se verá –quizás con razón– como una hegemonía desenfrenada de
Estados Unidos, arrogancia occidental y egoísmo. Sinceramente, no siempre estoy seguro de
dónde está el equilibrio adecuado, pero ahora creo firmemente que una apertura total sacará
a la humanidad del camino estrecho. Sin embargo, en el otro lado del libro, como también
debería quedar claro, una vigilancia completa y un cierre completo son inconcebibles,
equivocado y desastroso. Extralimitarse en el control es una vía rápida hacia la distopía.
También hay que resistirlo.
En este marco, los países siempre están en riesgo. Y, sin embargo, algunos han logrado
seguir adelante durante siglos, trabajando duro para mantenerse a la vanguardia, mantener
el equilibrio y mantenerse lo suficientemente limitados. Cada aspecto de la contención, todo
lo que hemos descrito, tendrá que pisar esta insoportable cuerda floja. Cada medida que se
discuta aquí o en el futuro debe considerarse en este espectro: llevarse lo suficientemente
lejos como para ofrecer una protección significativa y, al mismo tiempo, evitar que vaya
demasiado lejos.

¿ES POSIBLE CONTENER LA ola que se avecina?

 Al observar los innumerables caminos a seguir, todas las direcciones posibles en las que
la tecnología llevará la experiencia humana, las capacidades desatadas, la capacidad de
transformar nuestro mundo, parece que la contención falla en muchos de ellos. El camino
angosto debe recorrerse para siempre de aquí en adelante, y todo lo que se necesita es un
paso en falso para caer al abismo.
La historia sugiere que este patrón de difusión y desarrollo está asegurado. Parecen
arraigados inmensos incentivos. Las tecnologías sorprenden incluso a sus creadores por la
velocidad y el poder de su desarrollo. Cada día parece presagiar un nuevo avance, producto
o empresa. La vanguardia se difunde en cuestión de meses. Los Estados-nación encargados
de regular esta revolución se están agitando a causa de ella.
Y, sin embargo, si bien hay pruebas convincentes de que la contención no es posible,
temperamentalmente sigo siendo optimista. Las ideas presentadas aquí nos ayudan a darnos
las herramientas y los medios para seguir caminando, paso a paso, por ese camino, las
lámparas, las cuerdas y los mapas para recorrer la tortuosa ruta hacia adelante. El
contundente desafío de la contención no es motivo para dar la espalda; es un llamado a la
acción, una misión generacional que todos debemos afrontar.
Si nosotros, la humanidad, podemos cambiar el contexto con una oleada de nuevos
movimientos, empresas y gobiernos comprometidos, con incentivos revisados, con mayores
capacidades técnicas, conocimientos y salvaguardias, entonces podremos crear las
condiciones para emprender ese camino tambaleante con una chispa de esperanza. Y si bien
la magnitud del desafío es enorme, cada sección aquí profundiza en muchas áreas más
pequeñas donde cualquier individuo aún puede marcar la diferencia. Se requerirá un Es un
esfuerzo tremendo para cambiar fundamentalmente nuestras sociedades, nuestros instintos
humanos y los patrones de la historia. Está lejos de ser seguro. Parece imposible. Pero debe
ser posible afrontar el gran dilema del siglo XXI .
Todos deberíamos sentirnos cómodos viviendo con contradicciones en esta era de
cambios exponenciales y poderes desplegados. Asume lo peor, planifícalo, dáselo todo.
Mantente tenazmente en el camino angosto. Conseguir un mundo más allá de las élites
comprometidas y presionando. Si suficientes personas comienzan a construir ese elusivo
“nosotros”, esos destellos de esperanza se convertirán en furiosos fuegos de cambio.
 LA VIDA DESPUÉS DEL ANTROPOCENO

Estaba EN SILENCIO. SE CERRARON VENTANAS Y contraventanas, se apagaron fuegos y velas y

se comió. El bullicio y el zumbido del ajetreado día disminuyeron, y sólo el ladrido ocasional
de un perro, el rasguño entre la maleza o el suave susurro del viento entre los árboles
rompían el silencio. El mundo exhaló y se durmió.
Llegaron al amparo de esta oscuridad, cuando no serían reconocidos. Decenas de ellos,
enmascarados, disfrazados, armados, enojados. En el fresco y tranquilo de la noche podría
haber una oportunidad de que se hiciera justicia, si tan sólo pudieran mantener la calma.
Se arrastraron sin decir palabra hacia el edificio grande y descomunal en las afueras de
la ciudad. La estructura, una presencia cuadrada, segura e imponente en la penumbra,
albergaba nuevas tecnologías costosas y controvertidas: máquinas que creían que eran el
enemigo. Si los atrapaban, los intrusos lo perderían todo, incluso sus vidas. Pero habían
hecho un juramento. Esto fue. No había vuelta atra's. Las máquinas, los patrones, no pudieron
ganar.
Afuera hicieron una pausa y luego cargaron. Golpeando la puerta cerrada, finalmente la
derribaron y entraron en masa. Usando martillos y garrotes, comenzaron a destrozar las
máquinas. El ruido metálico del metal contra metal resonó. Mientras los escombros se
esparcían por el suelo, las alarmas comenzaron a sonar. Las contraventanas se abrieron de
golpe y las linternas de los vigilantes se encendieron apresuradamente. Los saboteadores,
los luditas, corrieron hacia la salida y se fundieron en la suave luz de la luna. La quietud no
volvería.

A PRINCIPIOS DEL siglo XIX, Gran Bretaña se encontraba en medio de una ola anterior.
Tecnologías basadas en vapor y La automatización mecánica estaba destrozando las reglas
de producción, trabajo, valor, riqueza, capacidad y poder. Lo que hemos llegado a llamar la
Primera Revolución Industrial estaba en pleno apogeo, fábrica tras fábrica cambiando el país
y el mundo. En 1785, el inventor Edmund Cartwright presentó el telar mecánico, un nuevo
medio mecanizado de tejido. Al principio no tuvo éxito. Sin embargo, pronto nuevas
iteraciones revolucionaron la fabricación textil.
No todos estaban contentos. El telar mecánico podía ser operado por un solo niño y
producir tanta tela como tres tejedores y medio tradicionales. La mecanización significó que
los salarios de los tejedores se redujeron a más de la mitad en los cuarenta y cinco años
posteriores a 1770, incluso cuando el precio de los alimentos básicos se disparó. Los
hombres perdieron en el nuevo mundo frente a las mujeres y los niños. El trabajo textil,
desde tejer hasta teñir, siempre había sido agotador, pero en las fábricas era ruidoso,
reglamentado, peligroso y opresivo. Los niños con bajo rendimiento serían colgados del
techo o obligados a llevar pesas pesadas. Las muertes eran comunes. Horas castigando. Para
quienes estaban en primera línea, pagando los costos humanos de la industrialización, ésta
no era una nueva y valiente tecnoutopía; era un mundo de molinos satánicos, servidumbre y
desaires.
Los tejedores y trabajadores textiles tradicionales sintieron que las nuevas máquinas y
el capital que las respaldaba les estaban quitando sus empleos, colapsando sus salarios,
robándoles su dignidad y destruyendo una forma de vida rica. La maquinaria que ahorraba
mano de obra fue excelente para los propietarios de las fábricas, pero para los trabajadores
altamente calificados y bien remunerados que tradicionalmente habían dominado los
textiles, fue un desastre.
Inspirados por una figura mítica llamada Ned Ludd, los tejedores de las Midlands
inglesas se enojaron y se organizaron. Se negaron a aceptar esa imagen, que la proliferación
sería la opción predeterminada y que la ola de tecnología que rompía a su alrededor era una
inevitabilidad económica. Decidieron contraatacar.
En 1807, seis mil tejedores se manifestaron por los recortes salariales, una protesta
disuelta por dragones armados con sables que mataron a un manifestante. A partir de ahí
comenzó a formarse una campaña más violenta. En 1811, los saboteadores recibieron su
nombre después de que el propietario de una fábrica de Nottingham recibiera una serie de
cartas del “General Ludd y el Ejército de Reparadores”. No hubo respuesta y el 11 de marzo
tejedores desempleados asaltaron fábricas locales, destruyeron sesenta y tres máquinas e
intensificaron la campaña.
En los meses de redadas clandestinas que siguieron, cientos de fotogramas fueron
destruidos. “El ejército de Ned Ludd” respondió. En su opinión, lo único que querían era un
salario justo y dignidad. Sus demandas eran a menudo pequeñas: modestos aumentos
salariales, un enfoque gradual para la introducción de nueva maquinaria, algún tipo de
mecanismo de participación en las ganancias. No parecía mucho pedir.
Las protestas luditas comenzaron a debilitarse, reprimidas por un conjunto draconiano
de leyes y contramilicias. Por esa época, Inglaterra tenía sólo unos pocos miles de telares
automáticos. Pero en 1850 ya eran un cuarto de millón. La batalla se había perdido, la
tecnología se había difundido, la antigua vida de los tejedores destruida, el mundo había
cambiado. Para los que salen perdiendo, así es como se ve una ola incontenible de tecnología.

Y TODAVÍA…
A largo plazo, las mismas tecnologías industriales que causaron tanto dolor dieron lugar
a una mejora prodigiosa en los niveles de vida. Décadas, siglos después, los descendientes de
aquellos tejedores vivieron en condiciones que los luditas difícilmente habrían imaginado,
habituados a ese mundo precario que damos por sentado. La gran mayoría de ellos
regresaban en invierno a casas cálidas, con refrigeradores llenos de comida exótica. Cuando
enfermaron, recibieron atención médica milagrosa. Vivieron vidas mucho más largas.
Al igual que nosotros hoy, los luditas estaban en un aprieto. Su dolor y perturbación
fueron reales, pero también lo fueron las mejoras en los niveles de vida que beneficiaron a
sus hijos y nietos y que hoy usted y yo disfrutamos sin pensar. En aquel entonces, los luditas
no lograron contener la tecnología. Pero la humanidad se adaptó de todos modos. El desafío
hoy es claro. Tenemos que reclamar los beneficios de la ola sin sentirnos abrumados por sus
daños. Los luditas perdieron su campaña, y creo que es probable que quienes hoy detendrían
la tecnología, una vez más, no tengan éxito.
La única manera, entonces, es hacerlo bien, la primera vez. Para garantizar que la
adaptación a la tecnología no se imponga simplemente a las personas, como ocurrió en La
revolución industrial. Sino garantizar que la tecnología se adapte, desde el principio, a las
personas, a sus vidas y esperanzas. Las tecnologías adaptadas son tecnologías contenidas. La
tarea más urgente no es montar o detener en vano la ola sino esculpirla.
La próxima ola va a cambiar el mundo. En última instancia, es posible que los seres
humanos ya no sean los principales impulsores planetarios, como nos hemos acostumbrado
a ser. Viviremos en una época en la que la mayoría de nuestras interacciones diarias no serán
con otras personas sino con IA. Esto puede parecer intrigante, horripilante o absurdo, pero
está sucediendo. Supongo que ya pasas una parte considerable de tus horas de vigilia frente
a una pantalla. De hecho, es posible que pases más tiempo mirando las pantallas colectivas
de tu vida que a cualquier ser humano, incluidos cónyuges e hijos.
Por lo tanto, no es un gran salto ver que pasaremos cada vez más tiempo hablando e
interactuando con estas nuevas máquinas. El tipo y la naturaleza de las inteligencias
artificiales y biológicas que encontramos y con las que interactuamos serán radicalmente
diferentes a los de ahora. Ellos serán quienes harán nuestro trabajo por nosotros, buscando
información, armando presentaciones, escribiendo ese programa, ordenando nuestras
compras y regalos de Navidad de este año, aconsejándonos sobre la mejor manera de
abordar un problema, o tal vez simplemente charlando y jugando.
Serán nuestras inteligencias personales, nuestros compañeros y ayudantes, confidentes
y colegas, jefes de personal, asistentes y traductores. Organizarán nuestras vidas y
escucharán nuestros deseos ardientes y nuestros miedos más oscuros. Ayudarán a
administrar nuestros negocios, tratarán nuestras dolencias y librarán nuestras batallas. En
el transcurso de un día normal surgirán muchos tipos, capacidades y formas de personalidad
diferentes. Nuestros mundos mentales y conversacionales incluirán inextricablemente esta
nueva y extraña colección de inteligencias. Cultura, política, economía; amistad, juego, amor:
todo evolucionará a la par.
El mundo del mañana será un lugar donde las fábricas producirán localmente, casi como
las granjas en épocas anteriores. Los drones y los robots serán omnipresentes. El genoma
humano será algo elástico, y también lo será, necesariamente, la idea misma del ser humano.
La esperanza de vida será mucho más larga que la nuestra. Muchos desaparecerán casi por
completo en mundos virtuales. Lo que alguna vez pareció un contrato social establecido se
distorsionará y hebilla. Aprender a vivir y prosperar en este mundo será parte de la vida de
todos en el siglo XXI.
La reacción ludita es natural, como se esperaba. Pero, como siempre, será inútil. Sin
embargo, en aquel entonces los tecnólogos no pensaban en adaptar su tecnología a fines
humanos, del mismo modo que Carl Benz y los primeros barones del petróleo no pensaban
en la atmósfera terrestre. En cambio, se creó tecnología, el capital la financió y todos los
demás se sumaron, cualesquiera que fueran las consecuencias a largo plazo.
Esta vez la contención debe reescribir esa historia. Puede que todavía no exista un
“nosotros” global, pero hay un grupo de personas que están desarrollando esta tecnología en
este momento. Tenemos una enorme responsabilidad para garantizar que la adaptación no
sea en un solo sentido. Que, a diferencia del poder, a diferencia del clima, la ola que se avecina
se adapta a las necesidades humanas, se construye en torno a preocupaciones humanas. La
ola que se avecina no debería crearse para servir a intereses distantes, siguiendo una agenda
de tecnología ciega, o algo peor.
Demasiadas visiones del futuro comienzan con lo que la tecnología puede o podría hacer
y funcionan a partir de ahí. Esa es una base completamente equivocada. Los tecnólogos
deberían centrarse no sólo en las minucias de la ingeniería, sino en ayudar a imaginar y hacer
realidad un futuro humano, social y más rico en el sentido más amplio, un complejo
entramado del cual la tecnología es sólo una hebra. La tecnología es fundamental para
determinar cómo se desarrollará el futuro (eso es indudablemente cierto), pero la tecnología
no es el objetivo del futuro ni lo que realmente está en juego. Somos.
La tecnología debería amplificar lo mejor de nosotros, abrir nuevos caminos para la
creatividad y la cooperación, trabajar con el grano humano de nuestras vidas y nuestras
relaciones más preciadas. Debería hacernos más felices y saludables, ser el complemento
definitivo del esfuerzo humano y de una vida bien vivida, pero siempre en nuestros términos,
decididos democráticamente, debatidos públicamente y con beneficios ampliamente
distribuidos. En medio de la turbulencia, nunca debemos perder de vista esto: una visión que
incluso el más ferviente ludita podría abrazar.
Pero antes de llegar allí, antes de que podamos aprovechar el potencial ilimitado de las
tecnologías futuras, la ola y su dilema central necesitan contención, necesitan un control
intensificado, sin precedentes y demasiado humano sobre toda la tecnosfera. Requerirá una
determinación épica sobre décadas en todo el espectro del esfuerzo humano. Se trata de un
desafío monumental cuyo resultado determinará, sin exageraciones, la calidad y la
naturaleza de la vida cotidiana en este siglo y en el futuro.
Apenas vale la pena pensar en los riesgos del fracaso, pero debemos afrontarlos. El
premio, sin embargo, es asombroso: nada menos que el florecimiento seguro y a largo plazo
de nuestra preciada especie.
Por eso vale la pena luchar.
 EXPRESIONES DE GRATITUD

L os libros TAMBIÉN SON UNA DE LAS tecnologías más transformadoras de la historia. Y

como cualquier ejemplo de tecnología transformadora, son empresas de equipo innatas. Éste
no es una excepción. Para empezar, ha sido una colaboración de autor épica que abarca más
de veinte años de amistad y discusión constante.
Crown ha brindado un increíble apoyo a este proyecto desde una etapa muy temprana.
David Drake ha sido una presencia sabia y energizante que ha guiado el libro con una
brillante visión editorial. Hemos sido increíblemente afortunados de tener como editor a
Paul Whitlatch, quien una y otra vez ha realizado innumerables mejoras al libro con notable
paciencia y perspicacia. Gracias también a Madison Jacobs, Katie Berry y Chris Brand. Stuart
Williams de Bodley Head en Londres ha sido otra voz editorial inteligente y un firme
partidario, y hemos tenido el privilegio de contar con dos agentes fantásticos: Tina Bennett
y Sophie Lambert. Desde el principio del proyecto, Celia Pannetier trabajó como nuestra
invaluable investigadora y fue una parte vital en la recopilación de evidencia, mientras Sean
Lavery revisaba todo el libro con su mirada de verificación de hechos.
Un gran número de personas han contribuido a este libro durante muchos años. Se han
reunido para mantener conversaciones detalladas, leer capítulos, rechazar argumentos,
generar ideas y corregir errores. Muchas llamadas, seminarios, entrevistas, ediciones y
sugerencias han ayudado a crear este libro. Cada una de las personas aquí dedicó tiempo y
atención a hablar, compartir conocimientos, debatir y enseñarnos. Un agradecimiento
especial a las muchas personas que leyeron el borrador completo y comentaron en detalle;
su generosidad y su extraordinario nivel de conocimiento fueron de un valor incalculable
para llegar al manuscrito final.
Un enorme agradecimiento a Gregory Allen, Graham Allison (y al profesorado y al
personal del Centro Belfer de Harvard en general), Sahar Amer, Anne Applebaum, Julian
Baker, Samantha Barber, Gabriella Blum, Nick Bostrom, Ian Bremmer, Erik Brynjolfsson, Ben
Buchanan, Sarah Carter, Rewon Child, George Church, Richard Danzig, Jennifer Doudna,
Alexandra Eitel, Maria Eitel, Henry Elkus, Kevin Esvelt, Jeremy Fleming, Jack Goldsmith, Al
Gore, Tristan Harris, Zaid Hassan, Jordan Hoffman, Joi Ito, Ayana Elizabeth Johnson, Danny
Kahneman, Angela Kane, Melanie Katzman, Henry Kissinger, Kevin Klyman, Heinrich Küttler,
Eric Lander, Sean Legassick, Aitor Lewkowycz, Leon Marshall, Jason Matheny, Andrew
McAfee, Greg McKelvey, Dimitri Mehlhorn, David Miliband, Martha Minow, Geoff Mulgan, Aza
Raskin, Tobias Rees, Stuart Russell, Jeffrey Sachs, Eric Schmidt, Bruce Schneier, Marilyn
Thompson, Mayo Thompson, Thomas Viney, Maria Vogelauer, Mark Walport, Morwenna
White, Scott Young y Jonathan Zittrain.
A mis cofundadores de Inflection, Reid Hoffman y Karén Simonyan, por ser maravillosos
colaboradores. Y a mis cofundadores de DeepMind, Demis Hassabis y Shane Legg, por su
asociación durante una década extraordinaria. Michael quisiera agradecer a sus
cofundadores de Canelo, Iain Millar y Nick Barreto, por su continuo apoyo, pero sobre todo
a su increíble esposa, Dani, y a sus hijos, Monty y Dougie.
 NOTAS

Para OBTENER UNA BIBLIOGRAFÍA DE LOS LIBROS consultados, visite el sitio web the-coming-
wave.com/bibliography .

CAPÍTULO 1 : LA CONTENCIÓN NO ES POSIBLE

Cuesta unas pocas decenas de miles. Por ejemplo, el sintetizador de ADN y ARN Kilobaser,
se vendió a partir de 25.000 dólares. Consulte su sitio web: kilobaser.com/dna-and-rna-
synthesizer .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 2 : PROLIFERACIÓN SIN FIN

Veinte años después de la patente de Benz TÜV Nord Group, “Una breve historia del motor
de combustión interna”, TÜV Nord Group, 18 de abril de 2019, www.tuev-nord.de/explore/
en/remembers/a-brief -historia-del-motor-de-combustión-interna .
IR A NOTA REFERENCIA EN TEXTO

Ford siguió aumentando la producción Burton W. Folsom, “Henry Ford and the Triumph
of the Auto Industry”, Foundation for Economic Education, 1 de enero de 1998, fee.org/
articles/henry-ford-and-the-triumph -de-la-industria-automovilística .
IR A NOTA REFERENCIA EN TEXTO

Alrededor de 1.400 millones “¿Cuántos automóviles habrá en el mundo en 2023?”, Hedges

& Company, junio de 2021, hedgescompany.com/blog/2021/06/how-many-cars-are-there-
in- el-mundo ; “Motor de combustión interna: el camino por delante”, Industr, 22 de enero
de 2019, www.industr.com/en/internal-combustion-engine-the-road-ahead-2357709# .
IR A NOTA REFERENCIA EN TEXTO

Es la historia de la tecnología misma. Existe un voluminoso debate académico sobre la

definición precisa de tecnología. En este libro utilizamos una definición cotidiana y de
sentido común: la aplicación del conocimiento científico (en el sentido más amplio posible)
para producir herramientas o resultados prácticos. Sin embargo, también se reconoce la
complejidad total y multifacética del término. La tecnología se remonta a las culturas y
prácticas. No se trata sólo de transistores, pantallas y teclados. Es el conocimiento explícito
y tácito de los codificadores, las vidas sociales y las sociedades que los sustentan.
IR A NOTA REFERENCIA EN TEXTO

La tecnología tiene un objetivo claro. Los estudiosos de la tecnología hacen distinciones

entre difusión y proliferación que en su mayor parte se omiten aquí. Nos referimos a ellos
más en su sentido coloquial que formal.
IR A NOTA REFERENCIA EN TEXTO

A medida que la ciencia produce nuevos descubrimientos, esto también funciona en la

otra dirección: la tecnología produce nuevas herramientas y conocimientos que estimulan la
ciencia, como cuando la máquina de vapor ayudó a aclarar la necesidad de la ciencia de la
termodinámica o la sofisticada cristalería creó los telescopios que transformaron nuestra
comprensión del espacio.
IR A NOTA REFERENCIA EN TEXTO

En pocas palabras, una onda es un conjunto Robert Ayres, “Technological

Transformations and Long Waves. Parte I”, Previsión tecnológica y cambio social 37, no. 1
(marzo de 1990), www.sciencedirect.com/science/article/abs/pii/0040162590900573 .
IR A NOTA REFERENCIA EN TEXTO

Por “propósito general” Este término es sorprendentemente nuevo para algo que se ha
vuelto tan central para la comprensión de la tecnología y que se remonta a un artículo de
economía de principios de los años noventa. Véase Timothy F. Bresnahan y Manuel
Trajtenberg, “General Purpose Technologies 'Engines of Growth'?” (documento de trabajo,
NBER, agosto de 1992), www.nber.org/papers/w4148 .
IR A NOTA REFERENCIA EN TEXTO

Tuvo un impacto pronunciado en la evolución Richard Wrangham, Catching Fire: How

Cooking Made Us Human (Londres: Profile Books, 2010).
IR A NOTA REFERENCIA EN TEXTO

Las tecnologías de propósito general se propagan. Cuenta tomada de Richard Lipsey,

Kenneth Carlaw y Clifford Bekar, Economic Transformations: General Purpose Technologies
and Long-Term Economic Growth (Oxford: Oxford University Press, 2005).
IR A NOTA REFERENCIA EN TEXTO

Lengua, agricultura, escritura Técnicamente, la lengua podría considerarse nuevamente

como una tecnología proto o fundacional de propósito general.
IR A NOTA REFERENCIA EN TEXTO

Un estudio importante señaló a Lipsey, Carlaw y Bekar, Economic Transformations.

IR A NOTA REFERENCIA EN TEXTO

A lo largo de la historia, el tamaño de la población. Para una explicación poderosa de

cómo funcionó este proceso, véase Oded Galor, The Journey of Humanity: The Origins of
Wealth and Inequality (Londres: Bodley Head, 2022).
IR A NOTA REFERENCIA EN TEXTO

Poblaciones más grandes y más conectadas Michael Muthukrishna y Joseph Henrich,

“Innovation in the Collective Brain”, Philosophical Transactions of the Royal Society B 371, no.
1690 (2016), royalsocietypublishing.org/doi/10.1098/rstb.2015.0192 .
IR A NOTA REFERENCIA EN TEXTO

Al amanecer Galor, El viaje de la humanidad , 46.

IR A NOTA REFERENCIA EN TEXTO

Como dicen el antropólogo de Harvard Muthukrishna y Henrich, “Innovación en el

cerebro colectivo”.
IR A NOTA REFERENCIA EN TEXTO

Los diez mil años Lipsey, Carlaw y Bekar, Transformaciones económicas .

IR A NOTA REFERENCIA EN TEXTO

Y en los últimos cien. El resto se produjo entre el 1000 A. C. y el 1700 d. C ..

IR A NOTA REFERENCIA EN TEXTO

Para el futurista Alvin Toffler Alvin Toffler, The Third Wave (Nueva York: Bantam, 1984).
Véase también el trabajo de Nikolai Kondratiev sobre ondas de ciclo largo.
IR A NOTA REFERENCIA EN TEXTO

El gran filósofo de la tecnología Lewis Mumford, Technics and Civilization (Chicago:

University of Chicago Press, 1934).
IR A NOTA REFERENCIA EN TEXTO
Más recientemente la economista Carlota Pérez, Technological Revolutions and Financial
Capital: The Dynamics of Bubbles and Golden Ages (Cheltenham, Reino Unido: Edward Elgar,
2002).
IR A NOTA REFERENCIA EN TEXTO

Sin embargo, una vez que comienza la difusión , una señal temprana de una proliferación
acelerada podría ser que, en comparación con la proliferación milenaria de los molinos de
agua, a los pocos años de su invención, el molino de viento se veía en todas partes, desde el
norte de Inglaterra hasta Siria. Véase Lynn White Jr., Tecnología medieval y cambio social
(Oxford: Oxford University Press, 1962), 87.
IR A NOTA REFERENCIA EN TEXTO

Pero sólo cincuenta años después , Elizabeth L. Eisenstein, The Printing Press as an Agent
of Change: Communications and Cultural Transformations in Early-Modern Europe
(Cambridge, Reino Unido: Cambridge University Press, 1979).
IR A NOTA REFERENCIA EN TEXTO

En el siglo XVII , Eltjo Buringh y Jan Luiten Van Zanden, “Charting the 'Rise of the West':
Manuscripts and Printed Books in Europe, a Long-Term Perspective from the Sixth Through
the Eighteenth Centuries”, Journal of Economic History, 1 de junio de 2009,
www.cambridge.org/core/journals/journal-of-economic-history/article/abs/charting-the-
rise-of-the-west-manuscripts-and-printed-books- en-europa-una-perspectiva-a-largo-
plazo-desde-los-siglos-VI-al-XVIII/0740F5F9030A706BB7E9FACCD5D975D4 .
IR A NOTA REFERENCIA EN TEXTO

Un análisis estima a Max Roser y Hannah Ritchie, “Price of Books: Productivity in Book
Production”, Our World in Data, ourworldindata.org/books .
IR A NOTA REFERENCIA EN TEXTO

Las primeras centrales eléctricas Comité polaco miembro del Consejo Mundial de la
Energía, “Energy Sector of the World and Polonia: Beginnings, Development, Present State”,
Consejo Mundial de la Energía, diciembre de 2014, www.worldenergy.org/assets/ images /
importado/2014/12/Energy_Sector_of_the_world_and_Poland_EN.pdf .
IR A NOTA REFERENCIA EN TEXTO

En 1900, la generación mundial de electricidad Vaclav Smil, “Energy in the Twentieth

Century: Resources, Conversions, Costs, Uses, and Consequences”, Annual Review of Energy
and the Environment 25 (2000), www.annualreviews.org/doi/pdf/ 10.1146/
annurev.energy.25.1.21 .
IR A NOTA REFERENCIA EN TEXTO

Como resultado, la persona promedio William D. Nordhaus, “¿Las medidas de producción

real y salario real capturan la realidad? The History of Lighting Suggests Not”, Fundación
Cowles para la Investigación en Economía de la Universidad de Yale, enero de 1996,
https://cowles.yale.edu/sites/default/files/2022-08/d0381.pdf .
IR A NOTA REFERENCIA EN TEXTO

Diez años después eran 5,8 millones Galor, El viaje de la humanidad, 46.
IR A NOTA REFERENCIA EN TEXTO

Hoy en día, Estados Unidos tiene muchos , si se incluyen tanto los teléfonos fijos como los
móviles.
IR A NOTA REFERENCIA EN TEXTO

El aumento de la calidad se une a la disminución de “Televisions Inflation Calculator”,

Official Data Foundation, www.in2013dollars.com/Televisions/price-inflation .
IR A NOTA REFERENCIA EN TEXTO

El mimetismo estimula la competencia Anuraag Singh et al., “Predicciones de tasas de

mejora tecnológica para todas las tecnologías: uso de datos de patentes y una descripción de
dominio extendida”, Research Policy 50, no. 9 (noviembre de 2021), www.sciencedirect.com/
science/article/pii/S0048733321000950# . Sin embargo, existen variaciones considerables
entre los diferentes conjuntos de tecnología.
IR A NOTA REFERENCIA EN TEXTO

Al igual que el motor de combustión interna , por supuesto, las propuestas se remontan
a más atrás, al menos a Babbage y Lovelace en el siglo XIX.
IR A NOTA REFERENCIA EN TEXTO

En 1945, un importante precursor George Dyson, La catedral de Turing: los orígenes del
universo digital (Londres: Allen Lane, 2012).
IR A NOTA REFERENCIA EN TEXTO

A principios de esa década, el presidente de IBM, Nick Carr, “¿Cuántas computadoras

necesita el mundo? Menos de lo que piensas”, Guardian, 21 de febrero de 2008,
www.theguardian.com/technology/2008/feb/21/computing.supercomputers .
IR A NOTA REFERENCIA EN TEXTO
Mecánica Popular revista realizada por James Meigs, “Inside the Future: How PopMech
Predicted the Next 110 Years”, Popular Mechanics, 21 de diciembre de 2012,
www.popularmechanics.com/technology/a8562/inside-the-future-how-popmech -predijo-
los-próximos-110-años-14831802/# .
IR A NOTA REFERENCIA EN TEXTO

Su poder ha aumentado en diez Véase, por ejemplo, Darrin Qualman, “Unimaginable

Output: Global Production of Transistors”, Darrin Qualman Blog, 24 de abril de 2017,
www.darrinqualman.com/global-production-transistors/ ; Azeem Azhar, Exponencial: cómo
la aceleración de la tecnología nos está dejando atrás y qué hacer al respecto (Londres:
Random House Business, 2021), 21; y Vaclav Smil, Cómo funciona realmente el mundo: una
guía científica sobre nuestro pasado, presente y futuro (Londres: Viking, 2022), 128.
IR A NOTA REFERENCIA EN TEXTO

A principios de la década de 1970, John B. Smith, “Internet Chronology”, UNC Computer

Science, www.cs.unc.edu/~jbs/resources/Internet/internet_chron.html .
IR A NOTA REFERENCIA EN TEXTO

Creó un Azhar aún más, exponencial, 219.

IR A NOTA REFERENCIA EN TEXTO

Ahora los humanos producen cientos Ibíd., 228.

IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 3 : EL PROBLEMA DE LA CONTENCIÓN

Comprender la tecnología es, en parte, el estudio clásico de Robert K. Merton, On Social

Structure and Science (Chicago: University of Chicago Press, 1996), pero véase también Ulrich
Beck, Risk Society: Toward a New Modernity (Londres: SAGE, 1992), sobre cómo la sociedad
ha pasado a estar dominada por la gestión de los riesgos que ella misma ha creado. Véase
también Edward Tenner, Why Things Bite Back: Technology and the Revenge of Unintended
Consequences (Nueva York: Vintage, 1997) y Charles Perrow, Normal Accidents: Living with
High-Risk Technologies (Princeton, Nueva Jersey: Princeton University Press, 1984). .
IR A NOTA REFERENCIA EN TEXTO

Para muchos, la palabra “contención” George F. Kennan, “The Sources of Soviet Conduct”,
Foreign Affairs, julio de 1947, www.cvce.eu/content/publication/1999/1/1/a0f03730-
dde8-4f06-a6ed-d740770dc423/publishable_en.pdf .
IR A NOTA REFERENCIA EN TEXTO

Mientras rugía la imprenta. Este relato está tomado de Anton Howes, “Era de la invención:
¿Daron los otomanos prohibieron la impresión?”, Age of Invention, 19 de mayo de 2021,
antonhowes.substack.com/p/age-of-invention- hicieron los otomanos .
IR A NOTA REFERENCIA EN TEXTO

John Kay, el inventor. Ejemplos tomados de Joel Mokyr, The Lever of Riches: Technological
Creativity and Economic Progress (Oxford: Oxford University Press, 1990).
IR A NOTA REFERENCIA EN TEXTO

De manera similar, China desestimó a Harold Marcuse, “Ch'ien Lung (Qianlong) Letter to
George III (1792)”, Departamento de Historia de UC Santa Bárbara,
marcuse.faculty.history.ucsb.edu/classes/2c/texts/ 1792QianlongLetterGeorgeIII.htm .
IR A NOTA REFERENCIA EN TEXTO

Pocas sociedades lo han hecho alguna vez . Véase, por ejemplo, Joseph A. Tainter, The
Collapse of Complex Societies (Cambridge, Reino Unido: Cambridge University Press, 1988) y
Jared Diamond, Collapse: How Societies Choose to Fail or Survive (Londres: Penguin, 2005). ),
para más información sobre este proceso.
IR A NOTA REFERENCIA EN TEXTO

El 11 de septiembre de 1933 Waldemar Kaempffert, “Rutherford Cools Atomic Energy

Hope”, New York Times, 12 de septiembre de 1933, timesmachine.nytimes.com/
timesmachine/1933/09/12/99846601.html .
IR A NOTA REFERENCIA EN TEXTO

Semanas después, un Boeing B-29 Alex Wellerstein, “Counting the Dead at Hiroshima and
Nagasaki”, Bulletin of the Atomic Scientists, 4 de agosto de 2020, thebulletin.org/2020/08/
counting-the-dead-at -hiroshima-y-nagasaki .
IR A NOTA REFERENCIA EN TEXTO

En 1946, el Informe Acheson-Lilienthal Véase David Lilienthal et al., “A Report on the

International Control of Atomic Energy”, 16 de marzo de 1946, fissilematerials.org/library/
ach46.pdf .
IR A NOTA REFERENCIA EN TEXTO

Aunque países como China “Partial Test Ban Tratado”, Nuclear Threat Initiative, febrero
de 2008, www.nti.org/education-center/treaties-and-regimes/treaty-banning-nuclear-
test-atmosphere-outer- Tratado-de-prohibición-parcial-de-ensayos-espaciales-y-
submarinos-ptbt/ .
IR A NOTA REFERENCIA EN TEXTO

Se produjo un punto de inflexión en 1968, “Cronología del Tratado de No Proliferación

Nuclear (TNP)”, Asociación de Control de Armas, agosto de 2022, www.armscontrol.org/
factsheets/Timeline-of-the-Treaty-on-the-Non- Proliferación-de-armas-nucleares-TNP .
IR A NOTA REFERENCIA EN TEXTO

Después de todo, fue recién en 2019 Liam Stack, “Update Complete: US Nuclear Weapons
No Longer Need Floppy Disks”, New York Times, 24 de octubre de 2019, www.nytimes.com/
2019/10/24/ us/nuclear-weapons-floppy-disks.html .
IR A NOTA REFERENCIA EN TEXTO

Los accidentes son legión. Los relatos aquí provienen en gran medida de Eric Schlosser,
Command and Control (Londres: Penguin, 2014) y John Hughes-Wilson, Eve of Destruction:
The Inside Story of Our Dangerous Nuclear World (Londres: John Blake, 2021). .
IR A NOTA REFERENCIA EN TEXTO

Pequeños fallos de funcionamiento del hardware William Burr, “False Warnings of Soviet
Missile Attacks Put US Forces on Alert in 1979–1980”, Archivo de Seguridad Nacional, 16 de
marzo de 2020, nsarchive.gwu.edu/briefing-book/nuclear-vault/ 2020-03-16/falsas-
advertencias-ataques-con-misiles-soviéticos-durante-1979-80-acciones-de-alerta-
dirigidas-fuerzas-estratégicas-estadounidenses .
IR A NOTA REFERENCIA EN TEXTO

Corea del Norte acudió al extraordinario Paul K. Kerr, “Iran–North Korea–Syria Ballistic
Missile and Nuclear Recommendation”, Servicio de Investigación del Congreso, 26 de febrero
de 2016, sgp.fas.org/crs/nuke/R43480.pdf .
IR A NOTA REFERENCIA EN TEXTO

China, India y Pakistán son Graham Allison, “Nuclear Terrorism: Did We Beat the Odds or
Change Them?”, PRISM, 15 de mayo de 2018, cco.ndu.edu/News/Article/1507316/nuclear-
Terrorismo: ¿vencimos-las-probabilidades-o-las-cambiamos ?
IR A NOTA REFERENCIA EN TEXTO

Brasil y Argentina incluso José Goldemberg, “Looking Back: Lessons from the
Denuclearization of Brazil and Argentina”, Arms Control Association, abril de 2006,
www.armscontrol.org/act/2006-04/looking-back-lessons-denuclearization -brasil-
argentina .
IR A NOTA REFERENCIA EN TEXTO

Mucho material nuclear Richard Stone, “Dirty Bomb Ingredients Go Missing from
Chernobyl Monitoring Lab”, Science, 25 de marzo de 2022, www.science.org/content/
article/dirty-bomb-ingredients-go-missing-chernobyl -laboratorio-de-monitoreo .
IR A NOTA REFERENCIA EN TEXTO

En 2018, plutonio Patrick Malone y R. Jeffrey Smith, “Plutonium Is Missing, but the
Government Says Nothing”, Center for Public Integrity, 16 de julio de 2018,
publicintegrity.org/national-security/plutonium-is-missing- pero-el-gobierno-no-dice-
nada .
IR A NOTA REFERENCIA EN TEXTO

Puede parecer extravagante Zaria Gorvett, “The Lost Nuclear Bombs That No One Can
Find”, BBC Future, 4 de agosto de 2022, www.bbc.com/future/article/20220804-the-lost-
nuclear-bombs -que-nadie-puede-encontrar .
IR A NOTA REFERENCIA EN TEXTO

Las armas químicas fueron recientemente “Cronología de la actividad de armas químicas

sirias, 2012-2022”, Asociación de Control de Armas, mayo de 2021, www.armscontrol.org/
factsheets/Timeline-of-Syrian-Chemical-Weapons-Activity .
IR A NOTA REFERENCIA EN TEXTO

Sin ellos, sugiere el modelado Paul J. Young, “The Montreal Protocol Protects the
Terrestrial Carbon Sink”, Nature, 18 de agosto de 2021, www.nature.com/articles/s41586-
021-03737-3.epdf .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 4 : LA TECNOLOGÍA DE LA INTELIGENCIA

Después de solo tres pares Natalie Wolchover, “¿De cuántas maneras diferentes puede
desarrollarse un juego de ajedrez?” Popular Science, 15 de diciembre de 2010,
www.popsci.com/science/article/2010-12/fyi-how -muchas-diferentes-maneras-en-que-
se-puede-desarrollar-el-juego-de-ajedrez .
IR A NOTA REFERENCIA EN TEXTO
En total, el tablero tiene "AlphaGo", DeepMind, www.deepmind.com/research/
highlighted-research/alphago . Algunos, sin embargo, informan de una cifra aún mayor; por
ejemplo, Scientific American cita 10 configuraciones 360 . Véase Christof Koch, “How the
Computer Beat the Go Master”, Scientific American, 19 de marzo de 2016,
www.scientificamerican.com/article/how-the-computer-beat-the-go-master .
IR A NOTA REFERENCIA EN TEXTO

Cuantas más tecnologías existen W. Brian Arthur, The Nature of Technology: What It Is and
How It Evolves (Londres: Allen Lane, 2009), 31.
IR A NOTA REFERENCIA EN TEXTO

El estudioso de la tecnología Everett Rogers Everett M. Rogers, Diffusion of Innovations

(Nueva York: Free Press, 1962), o consulte los escritos sobre revoluciones industriales de
académicos como Joel Mokyr.
IR A NOTA REFERENCIA EN TEXTO

El ingeniero y futurista Ray Kurzweil Ray Kurzweil, Cómo crear una mente: el secreto del
pensamiento humano revelado (Nueva York: Viking Penguin, 2012).
IR A NOTA REFERENCIA EN TEXTO

Vemos esto ahora en Véase, por ejemplo, Azalia Mirhoseini et al., “A Graph Placement
Methodology for Fast Chip Design”, Nature, 9 de junio de 2021, www.nature.com/articles/
s41586-021-03544- w ; y Lewis Grozinger et al., “Pathways to Cellular Supremacy in
Biocomputing”, Nature Communications, 20 de noviembre de 2019, www.nature.com/
articles/s41467-019-13232-z .
IR A NOTA REFERENCIA EN TEXTO

El momento decisivo fue el de Alex Krizhevsky et al., “ImageNet Classification with Deep
Convolutional Neural Networks”, Neural Information Processing Systems, 30 de septiembre
de 2012, procedimientos.neurips.cc/ paper/2012/file/
c399862d3b9d6b76c8436e924a68c45b-Paper .pdf .
IR A NOTA REFERENCIA EN TEXTO

En 2012, AlexNet venció a Jerry Wei, “AlexNet: The Architecture That Challenged CNNs”,
Towards Data Science, 2 de julio de 2019, forwarddatascience.com/alexnet-the-architecture-
that-challenged-cnns-e406d5297951 .
IR A NOTA REFERENCIA EN TEXTO
Gracias al aprendizaje profundo Chanan Bos, “La nueva computadora autónoma HW3 de
Tesla: es una bestia”, CleanTechnica, 15 de junio de 2019, cleantechnica.com/2019/06/15/
teslas-new-hw3-self- conducir-computadora-es-una-bestia-limpiatécnica-inmersión-
profunda .
IR A NOTA REFERENCIA EN TEXTO

Ayuda a volar drones Jeffrey De Fauw et al., “Aprendizaje profundo clínicamente aplicable
para diagnóstico y derivación en enfermedades de la retina”, Nature Medicine, 13 de agosto
de 2018, www.nature.com/articles/s41591-018-0107- 6 .
IR A NOTA REFERENCIA EN TEXTO

En la década de 2020, había casi dos mil “Avances en los sistemas de procesamiento de
información neuronal”, NeurIPS, papers.nips.cc .
IR A NOTA REFERENCIA EN TEXTO

En los últimos seis años , “Investigación y desarrollo”, en Artificial Intelligence Index Report
2021, Inteligencia artificial centrada en el ser humano de la Universidad de Stanford, marzo
de 2021, aiindex.stanford.edu/wp-content/uploads/2021/03/ 2021-AI-Index-Report-
_Chapter-1.pdf .
IR A NOTA REFERENCIA EN TEXTO

Mire donde mire, software. Parafraseando a Marc Andreessen.

IR A NOTA REFERENCIA EN TEXTO

En DeepMind desarrollamos sistemas “DeepMind AI Reduces Google Data Center Cooling

Bill by 40%”, DeepMind, 20 de julio de 2016, www.deepmind.com/blog/deepmind-ai-
reduces-google-data-centre-cooling- facturar por 40 .
IR A NOTA REFERENCIA EN TEXTO

Con 1.500 millones de parámetros , “Mejores modelos de lenguaje y sus implicaciones”,

OpenAI, 14 de febrero de 2019, openai.com/blog/better-language-models .
IR A NOTA REFERENCIA EN TEXTO

Durante los próximos años, consulte Martin Ford, Rule of the Robots: How Artificial
Intelligence Will Transform Everything (Londres: Basic Books, 2021), para obtener una
comparación desarrollada.
IR A NOTA REFERENCIA EN TEXTO
De manera más realista, la estadounidense promedio Amy Watson, “Average Reading
Time in the US from 2018 to 2021, by Age Group”, Statista, 3 de agosto de 2022,
www.statista.com/statistics/412454/average-daily -tiempo-leyendonos-por-edad .
IR A NOTA REFERENCIA EN TEXTO

Primero, cientos de millones de personas , Microsoft y NVIDIA construyeron un modelo

de transformador con 530 mil millones de parámetros, el modelo Megatron-Turing Natural
Language Generation (MT-NLG), treinta y una veces más grande que sus propios modelos de
transformador más potentes de apenas un año antes. Luego vino Wu Dao, de la Academia de
Inteligencia Artificial de Beijing, con unos supuestos 1,75 billones de parámetros, diez veces
GPT-3. Véase, por ejemplo, Tanushree Shenwai, “Microsoft and NVIDIA AI Introduces MT-
NLG: The Largest and Most Personality Monolithic Transformer Language NLP Model”,
MarkTech Post, 13 de octubre de 2021, www.marktechpost.com/2021/10 /13/microsoft-y-
nvidia-ai-presentan-mt-nlg-el-modelo-nlp-de-lenguaje-transformador-monolítico-más-
grande-y-poderoso .
IR A NOTA REFERENCIA EN TEXTO

La empresa china Alibaba “Alibaba DAMO Academy crea el modelo de preentrenamiento

de IA más grande del mundo, con parámetros que superan con creces a Google y Microsoft”,
Pandaily, 8 de noviembre de 2021, pandaily.com/alibaba-damo-academy-creates-worlds-
largest -modelo-ai-pre-entrenamiento-con-parámetros-muy-superadores-de-google-y-
microsoft .
IR A NOTA REFERENCIA EN TEXTO

PaLM de Google utiliza una imagen fantástica de Alyssa Vance, asumiendo que cada “gota”
constituye 0,5 mililitros: mobile.twitter.com/alyssamvance/status/
1542682154483589127 .
IR A NOTA REFERENCIA EN TEXTO

Pero utiliza un entrenamiento eficiente William Fedus et al., “Switch Transformers:

Scaling to Trillion Parameter Models with Simple and Efficient Sparsity”, Journal of Machine
Learning Research, 16 de junio de 2022, arxiv.org/abs/2101.03961 .
IR A NOTA REFERENCIA EN TEXTO

O mire a Chinchilla Alberto Romero de DeepMind , “A New AI Trend: Chinchilla (70B)

Greatly Outperforms GPT-3 (175B) and Gopher (280B)”, Towards Data Science, 11 de abril
de 2022, forwarddatascience.com/a-new -ai-trend-chinchilla-70b-supera-
considerablemente-a-gpt-3-175b-y-gopher-280b-408b9b4510 .
IR A NOTA REFERENCIA EN TEXTO
En el otro extremo del espectro, consulte github.com/karpathy/nanoGPT para obtener
más detalles.
IR A NOTA REFERENCIA EN TEXTO

Meta tiene el código abierto de Susan Zhang et al., “Democratizing Access to Large-Scale
Language Models with OPT-175B”, Meta AI, 3 de mayo de 2022, ai.facebook.com/blog/
democratizing-access- to- modelos-de-lenguaje-a-gran-escala-con-opt-175b .
IR A NOTA REFERENCIA EN TEXTO

A los pocos días alguien había encontrado Véase, por ejemplo, twitter.com/miolini/
status/1634982361757790209 .
IR A NOTA REFERENCIA EN TEXTO

Un análisis sugiere que lo hace la ingeniera Eirini Kalliamvakou, “Research: Quantifying

GitHub Copilot's Impact on Developer Productivity and Happiness”, GitHub, 7 de septiembre
de 2022, github.blog/2022-09-07-research-quantifying-github-copilots- impacto-en-la-
productividad-y-felicidad-del-desarrollador .
IR A NOTA REFERENCIA EN TEXTO

En palabras del eminente Matt Welsh, “The End of Programming”, Communications of the
ACM, enero de 2023, cacm.acm.org/magazines/2023/1/267976-the-end-of-programming/
texto completo .
IR A NOTA REFERENCIA EN TEXTO

Sin embargo, cuando se les dio el mismo mensaje , Emily Sheng et al., “The Woman
Worked as a Babysitter: On Biases in Language Generation”, arXiv, 23 de octubre de 2019,
arxiv.org/pdf/1909.01326.pdf .
IR A NOTA REFERENCIA EN TEXTO

Durante muchas horas, Lemoine Nitasha Tiku, “The Google Engineer Who Thinks the
Company's AI Has Come to Life”, Washington Post, 11 de junio de 2022,
www.washingtonpost.com/technology/2022/06/11/ google-ai-lamda-blake-lemoine .
IR A NOTA REFERENCIA EN TEXTO

Le dijo a un incrédulo Wired entrevistador Steven Levy, “Blake Lemoine dice que LaMDA
AI de Google se enfrenta a la 'intolerancia'”, Wired, 17 de junio de 2022, www.wired.com/
story/blake-lemoine-google-lamda-ai-bigotry .
IR A NOTA REFERENCIA EN TEXTO
“Tan pronto como funcione” Citado en Moshe Y. Vardi, “Artificial Intelligence: Past and
Future”, Communications of the ACM, enero de 2012, cacm.acm.org/magazines/2012/
1/144824-artificial -inteligencia-pasado-y-futuro/texto completo .
IR A NOTA REFERENCIA EN TEXTO

Argumentan que la IA puede estar desacelerando Joel Klinger et al., “A Narrowing of AI

Research?,” Computers and Society, 11 de enero de 2022, arxiv.org/abs/2009.10385 .
IR A NOTA REFERENCIA EN TEXTO

Críticos como Gary Marcus, profesor de la Universidad de Nueva York, Gary Marcus,
“Deep Learning Is Hitting a Wall”, Nautilus, 10 de marzo de 2022, nautil.us/deep-learning-is-
hitting-a-wall-14467 .
IR A NOTA REFERENCIA EN TEXTO

eminente profesora de complejidad Melanie Mitchell Véase Melanie Mitchell, Artificial

Intelligence: A Guide for Thinking Humans (Londres: Pelican Books, 2020) y Steven Strogatz,
“Melanie Mitchell Takes AI Research Back to Its Roots”, Quanta Magazine, 19 de abril de
2021. , www.quantamagazine.org/melanie-mitchell-takes-ai-research-back-to-its-roots-
20210419 .
IR A NOTA REFERENCIA EN TEXTO

Creo que se hará. El Centro de Investigación de Alineación ya ha probado GPT-4

precisamente para este tipo de capacidad. La investigación encontró que GPT-4 era, en esta
etapa, "ineficaz" para actuar de forma autónoma. “Tarjeta del sistema GPT-4”, OpenAI, 14 de
marzo de 2023, cdn.openai.com/papers/gpt-4-system-card.pdf . A los pocos días del
lanzamiento, la gente se estaba acercando sorprendentemente; consulte, por ejemplo,
mobile.twitter.com/jacksonfall/status/1636107218859745286 . La versión de la prueba
aquí, sin embargo, requiere mucha más autonomía que la que se muestra allí.
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 5 : LA TECNOLOGÍA DE LA VIDA

Como todo lo relacionado con la máquina de vapor Susan Hockfield, The Age of Living
Machines: How Biology Will Build the Next Technology Revolution (Nueva York: WW Norton,
2019).
IR A NOTA REFERENCIA EN TEXTO
Luego, trabajando con bacterias en 1973, Stanley N. Cohen et al., “Construction of
Biologically Functional Bacterial Plasmids In Vitro”, PNAS, 1 de noviembre de 1973,
www.pnas.org/doi/abs/10.1073/ pnas.70.11.3240 .
IR A NOTA REFERENCIA EN TEXTO

“Proyecto Genoma Humano” de trece años , Instituto Nacional de Investigación del

Genoma Humano, 24 de agosto de 2022, www.genome.gov/about-genomics/educational-
resources/fact-sheets/human-genome- proyecto .
IR A NOTA REFERENCIA EN TEXTO

Mientras que la ley de Moore justifica justificadamente “Life 2.0”, Economist, 31 de

agosto de 2006, www.economist.com/special-report/2006/08/31/life-20 .
IR A NOTA REFERENCIA EN TEXTO

Gracias a técnicas en constante mejora. Consulte “El costo de secuenciar un genoma

humano”, Instituto Nacional de Investigación del Genoma Humano, 1 de noviembre de 2021,
www.genome.gov/about-genomics/fact-sheets/Sequencing-Human- Costo del genoma ; y
Elizabeth Pennisi, “¿Un genoma de 100 dólares? Los nuevos secuenciadores de ADN podrían
ser un 'cambio de juego' para la biología y la medicina”, Science, 15 de junio de 2022,
www.science.org/content/article/100-genome-new-dna-sequencers-could-be- medicina-
biología-cambiadora-de-juego .
IR A NOTA REFERENCIA EN TEXTO

Es decir, el precio bajó Azhar, Exponencial, 41.

IR A NOTA REFERENCIA EN TEXTO

Después del artículo inicial sobre CRISPR , Jian-Feng Li et al., “Multiplex and Homologous
Recombination-Mediated Genome Editing in Arabidopsis and Nicotiana benthamiana Usando
Guide RNA and Cas9”, Nature Biotechnology, 31 de agosto de 2013, www.nature.com/
artículos/nbt.2654 .
IR A NOTA REFERENCIA EN TEXTO

Campos como la edición de ARN Sara Reardon, “Step Aside CRISPR, RNA Editing Is Taking
Off”, Nature, 4 de febrero de 2020, www.nature.com/articles/d41586-020-00272-5 .
IR A NOTA REFERENCIA EN TEXTO

Nuevas técnicas como Craspase Chunyi Hu et al., “Craspase Is a CRISPR RNA-Guided, RNA-
Activated Protease”, Science, 25 de agosto de 2022, www.science.org/doi/10.1126/
science.add5064 .
IR A NOTA REFERENCIA EN TEXTO

Los casos de uso de CRISPR se están multiplicando Michael Le Page, “Three People with
Inherited Diseases Successfully Treated with CRISPR”, New Scientist, 12 de junio de 2020,
www.newscientist.com/article/2246020-tres-personas-con-inherited-diseases -tratado-
con-exito-con-crispr ; Jie Li et al., “Los tomates biofortificados proporcionan una nueva ruta
hacia la suficiencia de vitamina D”, Nature Plants, 23 de mayo de 2022, www.nature.com/
articles/s41477-022-01154-6 .
IR A NOTA REFERENCIA EN TEXTO

En el futuro, podría ofrecerlo a Mohamed Fareh, “Reprogrammed CRISPR-Cas13b

Suppresses SARS-CoV-2 Replication and Circumvents Its Mutational Escape Through
Mismatch Tolerance”, Nature, 13 de julio de 2021, www.nature.com/articles/s41467 -021-
24577-9 ; “Cómo CRISPR está cambiando la investigación y el tratamiento del cáncer”,
Instituto Nacional del Cáncer, 27 de julio de 2020, www.cancer.gov/news-events/cancer-
currents-blog/2020/crispr-cancer-research-treatment ; Zhihao Zhang et al.,
“Actualizaciones sobre la edición de genes basada en CRISPR en la terapia contra el VIH-
1/SIDA”, Virologica Sinica, febrero de 2022, www.sciencedirect.com/science/article/pii/
S1995820X22000177 ; Giulia Maule et al., “Gene Therapy for Cystic Fibrosis: Progress and
Challenges of Genome Editing”, Revista Internacional de Ciencias Moleculares, junio de 2020,
www.ncbi.nlm.nih.gov/pmc/articles/PMC7313467 .
IR A NOTA REFERENCIA EN TEXTO

Estos crearán cultivos Raj Kumar Joshi, “Engineering Drought Tolerance in Plants Through
CRISPR/Cas Genome Editing”, 3 Biotech, septiembre de 2020, www.ncbi.nlm.nih.gov/pmc/
articles/PMC7438458 ; Muhammad Rizwan Javed et al., “Current Situation of Biofuel
Production and Its Enhancement by CRISPR/Cas9-Mediated Genome Engineering of
Microbial Cells”, Microbiological Research, febrero de 2019, www.sciencedirect.com/
science/article/pii /S0944501318308346 .
IR A NOTA REFERENCIA EN TEXTO

Hoy en día tecnologías como CRISPR Nessa Carey, Hacking the Code of Life: How Gene
Editing Will Rewrite Our Futures (Londres: Icon Books, 2019), 136.
IR A NOTA REFERENCIA EN TEXTO

Ya puedes comprar una mesa de trabajo Consulta, por ejemplo, kilobaser.com/shop .

IR A NOTA REFERENCIA EN TEXTO
Ahora pueden imprimir millones Yiren Lu, “The Gene Synthesis Revolution”, New York
Times, 24 de noviembre de 2021, www.nytimes.com/2021/11/24/magazine/gene-
synchronous.html .
IR A NOTA REFERENCIA EN TEXTO

The London DNA Foundry “Los laboratorios robóticos para la investigación genética de alta
velocidad están en aumento”, Economist, 1 de marzo de 2018, www.economist.com/science-
and -tecnología/2018/03/01/laboratorios-robóticos-para-investigación-genética-de-alta-
velocidad-están-en-aumento .
IR A NOTA REFERENCIA EN TEXTO

Empresas como DNA Script Bruce Rogers, “DNA Script Set to Bring World's First DNA
Printer to Market”, Forbes, 17 de mayo de 2021, www.forbes.com/sites/brucerogers/2021/
05/17/ dna-script-set-para-llevar-al-mercado-la-primera-impresora-de-dna-del-mundo .
IR A NOTA REFERENCIA EN TEXTO

Además, nuevas técnicas Michael Eisenstein, “Enzymatic DNA Synthesis Enters New
Phase”, Nature Biology, 5 de octubre de 2020, www.nature.com/articles/s41587-020-0695-
9.
IR A NOTA REFERENCIA EN TEXTO

En conjunto, Synbio utiliza no solo la síntesis de ADN, sino también la creciente

comprensión de cómo se pueden activar y desactivar los genes, junto con la disciplina de la
ingeniería metabólica mediante la cual se puede alentar a las células a producir las sustancias
deseadas.
IR A NOTA REFERENCIA EN TEXTO

En palabras del bioingeniero de Stanford Drew Endy, “Endy:Research”, OpenWetWare, 4

de agosto de 2017, openwetware.org/wiki/Endy:Research .
IR A NOTA REFERENCIA EN TEXTO

En 2010, un equipo dirigido por Craig Venter “Primera célula bacteriana sintética
autorreplicante”, JCVI, www.jcvi.org/research/first-self-replicating-synthetic-bacterial-cell .
IR A NOTA REFERENCIA EN TEXTO

Solo tres años después , Jonathan E. Venetz et al., “Chemical Synthesis Rewriting of a
Bacterial Genome to Achieve Design Flexibility and Biological Functionality”, PNAS, 1 de abril
de 2019, www.pnas.org/doi/full/10.1073 /pnas.1818259116 .
IR A NOTA REFERENCIA EN TEXTO

Ahora el Consorcio global GP-write Consulte Consorcio GP-write, Centro de Excelencia

para Ingeniería Biológica, ingenieríabiologycenter.org/gp-write-consortium .
IR A NOTA REFERENCIA EN TEXTO

Uso de un gen para proteínas detectoras de luz José-Alain Sahel et al., “Partial Recovery
of Visual Function in a Blind Patient After Optogenetic Therapy”, Nature Medicine, 24 de
mayo de 2021, www.nature.com/articles/s41591 -021-01351-4 .
IR A NOTA REFERENCIA EN TEXTO

Ingeniero de terapias de células T con CAR, “CureHeart—a Cure for Inherited Heart
Muscle Diseases”, Fundación Británica del Corazón, www.bhf.org.uk/what-we-do/our-
research/cure-heart ; Instituto Nacional del Cáncer, “Terapia de células T con CAR”,
Institutos Nacionales de Salud, www.cancer.gov/publications/dictionaries/cancer-terms/
def/car-t-cell-therapy .
IR A NOTA REFERENCIA EN TEXTO

El campo de la biología de sistemas Véase, por ejemplo, Astrid M. Vicente et al., “How
Customized Medicine Will Transform Healthcare by 2030: The ICPerMed Vision”, Journal of
Translational Medicine, 28 de abril de 2020, Translational-medicine.biomedcentral.com /
artículos/10.1186/s12967-020-02316-w .
IR A NOTA REFERENCIA EN TEXTO

Su científico jefe, Richard Klausner Antonio Regalado, “How Scientists Want to Make You
Young Again”, MIT Technology Review, 25 de octubre de 2022, www.technologyreview.com/
2022/10/25/1061644/how -ser-joven-otra vez .
IR A NOTA REFERENCIA EN TEXTO

Este enfoque experimental apunta a Jae-Hyun Yang et al., “Loss of Epigenetic Information
as a Cause of Mammalian Aging”, Cell, 12 de enero de 2023, www.cell.com/cell/fulltext/
S0092-8674( 22)01570-7 .
IR A NOTA REFERENCIA EN TEXTO

Un mundo donde la vida dura Véase, por ejemplo, David A. Sinclair y Matthew D. LaPlante,
Lifespan: Why We Age—and Why We Don't Have To (Nueva York: Atria Books, 2019).
IR A NOTA REFERENCIA EN TEXTO
El trabajo inicial sugiere memoria Véase, por ejemplo, la investigación de Harvard sobre
la memoria: “Researchers Identifica a Neural Circuit and Genetic 'Switch' That Keep Memory
Precision”, Harvard Stem Cell Institute, 12 de marzo de 2018, hsci.harvard.edu/news / los-
investigadores-identifican-el-circuito-neural-y-el-interruptor-genético-mantienen-la-
precisión-de-la-memoria .
IR A NOTA REFERENCIA EN TEXTO

Pide una moratoria John Cohen, “New Call to Ban Gene-Edited Babies Divides Biologists”,
Science, 13 de marzo de 2019, www.science.org/content/article/new-call-ban-gene-edited-
bebes-divide-biólogos .
IR A NOTA REFERENCIA EN TEXTO

El método de Arnold es quince veces SB Jennifer Kan et al., “Directed Evolution of

Cytochrome C for Carbon-Silicon Bond Formation: Bringing Silicon to Life”, Science, 25 de
noviembre de 2016, www.science.org/doi/10.1126 /ciencia.aah6219 .
IR A NOTA REFERENCIA EN TEXTO

Este tipo de biología sintética está ayudando a James Urquhart, “Reprogrammed

Bacterium Turns Carbon Dioxide into Chemicals on Industrial Scale”, Chemistry World, 2 de
marzo de 2022, www.chemistryworld.com/news/reprogrammed-bacterium-turns-carbon-
dioxide -into-químicos-a-escala-industrial/4015307.artículo .
IR A NOTA REFERENCIA EN TEXTO

“¿Y si pudiéramos crecer?” Elliot Hershberg, “Atoms Are Local”, Century of Bio, 7 de
noviembre de 2022, centuryofbio.substack.com/p/atoms-are-local .
IR A NOTA REFERENCIA EN TEXTO

En teoría, la totalidad del “El futuro del almacenamiento de datos de ADN” del mundo,
Instituto Potomac de Estudios Políticos, septiembre de 2018, potomacinstitute.org/images/
studies/Future_of_DNA_Data_Storage.pdf .
IR A NOTA REFERENCIA EN TEXTO

McKinsey estima que McKinsey Global Institute, “The Bio Revolution: Innovations
Transforming Economies, Societies, and Our Lives”, McKinsey & Company, 13 de mayo de
2020, www.mckinsey.com/industries/life-sciences/our- insights/la-bio-revolución-
innovaciones-que-transforman-las-economías-sociedades-y-nuestras-vidas .
IR A NOTA REFERENCIA EN TEXTO
Si utilizó el cálculo tradicional de fuerza bruta DeepMind, “AlphaFold: A Solution to a 50-
Year-Old Grand Challenge in Biology”, DeepMind Research, 20 de noviembre de 2020,
www.deepmind.com/blog/alphafold-a -solución-a-un-gran-desafío-en-biología-de-50-años
.
IR A NOTA REFERENCIA EN TEXTO

Mohammed AlQuraishi, un conocido investigador Mohammed AlQuraishi, “AlphaFold @

CASP13: 'What Just Happened?'”, Algunas reflexiones sobre un universo misterioso, 9 de
diciembre de 2018, moalquraishi.wordpress.com/2018/12/ 09/alphafold-casp13-lo-que-
acaba-de-pasar .
IR A NOTA REFERENCIA EN TEXTO

Un titular lo decía todo Tanya Lewis, “Uno de los mayores problemas de la biología
finalmente se ha resuelto”, Scientific American, 31 de octubre de 2022,
www.scientificamerican.com/article/one-of-the-biggest-problems -en-biología-finalmente-
ha-sido-resuelto .
IR A NOTA REFERENCIA EN TEXTO

El resultado ha sido una explosión Ewen Callaway, “What's Next for AlphaFold and the AI
Protein-Folding Revolution”, Nature, 13 de abril de 2022, www.nature.com/articles/
d41586-022-00997-5 .
IR A NOTA REFERENCIA EN TEXTO

DeepMind subió unos 200 millones de Madhumita Murgia, “DeepMind Research Cracks
Structure of Almost Every Known Protein”, Financial Times, 28 de julio de 2022,
www.ft.com/content/6a088953-66d7-48db-b61c-79005a0a351a ; DeepMind, “AlphaFold
Reveals the Structure of the Protein Universe”, DeepMind Research, 28 de julio de 2022,
www.deepmind.com/blog/alphafold-reveals-the-structure-of-the-protein-universe .
IR A NOTA REFERENCIA EN TEXTO

En 2019, se implantaron quirúrgicamente electrodos a Kelly Servick, “Por primera vez,

un implante cerebral permite que un hombre con parálisis completa deletree 'I Love My Cool
Son'”, Science, 22 de marzo de 2022, www.science.org/content/article /el-primer-implante-
cerebral-permite-al-hombre-parálisis-completa-deletrear-pensamientos-amo-a-mi-hijo-
genial .
IR A NOTA REFERENCIA EN TEXTO

Científicos de una nueva empresa llamada Cortical Labs Brett J. Kagan et al., “ In Vitro
Neurons Learn and Exhibit Sentience When Embodied in a Simulated Game-World”, Neuron,
12 de octubre de 2022, www.cell.com/ neurona/fulltext/S0896-6273(22)00806-6 .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 6 : LA OLA MÁS AMPLIA

El “primer robot móvil totalmente autónomo” de Amazon Mitchell Clark, “Amazon

Announces Its First Fullyvulner Mobile Warehouse Robot”, Verge, 21 de junio de 2022,
www.theverge.com/2022/6/21/23177756/amazon- robots-de-almacen-proteus-carro-
autonomo-de-entrega .
IR A NOTA REFERENCIA EN TEXTO

Sparrow de Amazon es el primer Dave Lee, “Amazon Debuts New Warehouse Robot That
Can Do Human Jobs”, Financial Times, 10 de noviembre de 2022, www.ft.com/content/
c8933d73-74a4-43ff-8060-7ff9402eccf1 .
IR A NOTA REFERENCIA EN TEXTO

Los robots ya están realizando cirugías complejas James Gaines, “The Past, Present, and
Future of Robotic Surgery”, Revista Smithsonian, 15 de septiembre de 2022,
www.smithsonianmag.com/innovation/the-past-present-and-future -de-cirugía-robótica-
180980763 .
IR A NOTA REFERENCIA EN TEXTO

Construyeron una flota de “Robots auxiliares para un día mejor”, Everyday Robots,
dailyrobots.com .
IR A NOTA REFERENCIA EN TEXTO

Con poblaciones de abejas Chelsea Gohd, “Walmart Has Patented Andalusian Robot Bees”,
Foro Económico Mundial, 19 de marzo de 2018, www.weforum.org/agenda/2018/03/
autonomous-robot-bees-are-being- patentado por Walmart .
IR A NOTA REFERENCIA EN TEXTO

A medida que caen los costos Informe del índice de inteligencia artificial 2021,
aiindex.stanford.edu/report .
IR A NOTA REFERENCIA EN TEXTO

El departamento de policía tenía un dispositivo de desactivación de bombas Sara

Sidner y Mallory Simon, “¿Cómo Robot y explosivos acabaron con un francotirador de Dallas
de una manera sin precedentes”, CNN, 12 de julio de 2016, cnn.com/2016/07/12/us/dallas-
police-robot-c4-explosives/index.html .
IR A NOTA REFERENCIA EN TEXTO

En 2019, Google anunció a Elizabeth Gibney: “¡Hola mundo cuántico! Google publica una
afirmación histórica de supremacía cuántica”, Nature, 23 de octubre de 2019,
www.nature.com/articles/d41586-019-03213-z ; Frank Arute et al., “Supremacía cuántica
usando un procesador superconductor programable”, Nature, 23 de octubre de 2019,
www.nature.com/articles/s41586-019-1666-5 .
IR A NOTA REFERENCIA EN TEXTO

Enfriado a una temperatura más fría Neil Savage, “Hands-On with Google's Quantum
Computer”, Scientific American, 24 de octubre de 2019, www.scientificamerican.com/
article/hands-on-with-googles-quantum-computer .
IR A NOTA REFERENCIA EN TEXTO

Para almacenar información equivalente Gideon Lichfield, “Inside the Race to Build the
Best Quantum Computer on Earth”, MIT Technology Review, 26 de febrero de 2022,
www.technologyreview.com/2020/02/26/916744/ carrera-de-computadoras-cuánticas-
ibm-google .
IR A NOTA REFERENCIA EN TEXTO

Su principal atractivo es que cada Matthew Sparkes, “IBM Creates Largest Ever
Superconducting Quantum Computer”, New Scientist, 15 de noviembre de 2021,
www.newscientist.com/article/2297583-ibm-creates-largest-ever-superconducting-
computadora cuántica .
IR A NOTA REFERENCIA EN TEXTO

De hecho, un número relativamente pequeño, en cualquier caso, para determinadas

tareas. Charles Choi, “¿Saltos cuánticos en la computación cuántica?”, Scientific American, 25
de octubre de 2017, www.scientificamerican.com/article/quantum-leaps-in-quantum-
computing .
IR A NOTA REFERENCIA EN TEXTO

La energía renovable se convertirá en Camilla Hodgson, “Solar Power Expected to Surpass

Coal in 5 Years, IEA Says”, Financial Times, 10 de diciembre de 2022, www.ft.com/content/
98cec49f-6682-4495-b7be-793bf2589c6d .
IR A NOTA REFERENCIA EN TEXTO

En 2000, la energía solar costaba “Precios de módulos fotovoltaicos solares”, Our World
in Data, ourworldindata.org/grapher/solar-pv-prices .
IR A NOTA REFERENCIA EN TEXTO

Con capital privado significativo Tom Wilson, “Nuclear Fusion: From Science Fiction to
'When, Not If'”, Financial Times, 17 de diciembre de 2022, www.ft.com/content/65e8f125-
5985-4aa8-a027- 0c9769e764ad .
IR A NOTA REFERENCIA EN TEXTO

Ampliado, podría impulsar un Tesla Eli Dourado, “Nanotechnology's Spring”, Works in

Progress, 12 de octubre de 2022, www.worksinprogress.co/issue/nanotechnologys-spring .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 7 : CUATRO CARACTERÍSTICAS DE LA OLA QUE SE AVECINA

En cambio, una unidad de unas treinta personas Julian Borger, “The Drone Operadores
Who Halted Russian Convoy Headed for Kyiv”, Guardian, 28 de marzo de 2022,
www.theguardian.com/world/2022/mar/28/the -operadores-de-drones-que-detuvieron-
los-vehículos-blindados-rusos-que-se-dirigían-a-kiev .
IR A NOTA REFERENCIA EN TEXTO

Un grupo de mil personas no militares Marcin Wywał, “La guerra en Ucrania. Cómo la
inteligencia artificial está matando a los rusos", Onet, 13 de julio de 2022, www.onet.pl/
informacje/onetwiadomosci/rozwiazali-problem-armii-ukrainy-ich-pomysl-okazal-sie-dla-
rosjan-zabojczy/ pkzrk0z,79cfc278 .
IR A NOTA REFERENCIA EN TEXTO

Un misil de precisión en un convencional Patrick Tucker, “La IA ya está aprendiendo de

la guerra de Rusia en Ucrania, dice el DOD”, Defense One, 21 de abril de 2022,
www.defenseone.com/technology/2022/04/ai- ya-aprendiendo-la-guerra-de-rusia-
ucrania-dod-dice/365978 .
IR A NOTA REFERENCIA EN TEXTO

Fuerzas estadounidenses, británicas y europeas “Ukraine Support Tracker”, Instituto

Kiel para la Economía Mundial, diciembre de 2022, www.ifw-kiel.de/index.php?id=17142 .
IR A NOTA REFERENCIA EN TEXTO

En palabras de la experta en seguridad Audrey Kurth Cronin, Power to the People: How
Open Technological Innovation Is Arming Tomorrow's Terrorists (Nueva York: Oxford
University Press, 2020), 2.
IR A NOTA REFERENCIA EN TEXTO

La empresa DJI Scott Gilbertson, con sede en Shenzhen, “Review: DJI Phantom 4”, Wired, 22
de abril de 2016, www.wired.com/2016/04/review-dji-phantom-4 .
IR A NOTA REFERENCIA EN TEXTO

Combatir los ataques es difícil Cronin, Power to the People, 320; Derek Hawkins, “Un
'aliado' de Estados Unidos disparó un misil Patriot de 3 millones de dólares contra un dron
de 200 dólares. Spoiler: The Missile Won”, Washington Post, 17 de marzo de 2017,
www.washingtonpost.com/news/morning-mix/wp/2017/03/17/aus-ally-fired-a- "3
millones de misiles Patriot en un spoiler de 200 drones que ganó el misil" .
IR A NOTA REFERENCIA EN TEXTO

En caso de que se mantenga, en diez años Azhar, Exponencial, 249.

IR A NOTA REFERENCIA EN TEXTO

Fuera del mundo ingrávido del código Véase, por ejemplo, Michael Bhaskar, Human
Frontiers: The Future of Big Ideas in an Age of Small Thinking (Cambridge, Mass.: MIT Press,
2021); Tyler Cowen, El gran estancamiento: cómo Estados Unidos se comió todos los frutos
maduros de la historia moderna, se enfermó y (eventualmente) se sentirá mejor (Nueva York:
Dutton, 2011); y Robert Gordon, The Rise and Fall of American Growth: The US Standard of
Living Since the Civil War (Princeton, Nueva Jersey: Princeton University Press, 2017), entre
muchos otros.
IR A NOTA REFERENCIA EN TEXTO

César Hidalgo sostiene César Hidalgo, Por qué crece la información: la evolución del orden,
de los átomos a las economías (Londres: Allen Lane, 2015).
IR A NOTA REFERENCIA EN TEXTO

La IA ya ayuda a encontrar nuevos Neil Savage, “Machines Learn to Unearth New

Materials”, Nature, 30 de junio de 2021, www.nature.com/articles/d41586-021-01793-3 .
IR A NOTA REFERENCIA EN TEXTO

Por ejemplo, los científicos han utilizado Andrij Vasylenko et al., “Element Selection for
Crystalline Inorganic Solid Discovery Guided by Unsupervised Machine Learning of
Experimentally Explored Chemistry”, Nature Communications, 21 de septiembre de 2021,
www.nature.com/articles/ s41467-021-25343-7 .
IR A NOTA REFERENCIA EN TEXTO
La IA ha ayudado a diseñar y construir Matthew Greenwood, “Hypercar Creado con
impresión 3D, IA y robótica”, Engineering.com, 23 de junio de 2021, www.engineering.com/
story/hypercar-created-using-3d-printing -ai-y-robótica .
IR A NOTA REFERENCIA EN TEXTO

Ahora las simulaciones aceleran Elie Dolgin, “Could Computer Models Be the Key to Better
COVID Vaccines?” Nature, 5 de abril de 2022, www.nature.com/articles/d41586-022-
00924-8 .
IR A NOTA REFERENCIA EN TEXTO

Las herramientas computacionales ayudan a automatizar Anna Nowogrodzki, “The

Automatic-Design Tools That Are Changing Synthetic Biology”, Nature, 10 de diciembre de
2018, www.nature.com/articles/d41586-018-07662-w .
IR A NOTA REFERENCIA EN TEXTO

Tecnologías cuánticas, muchos millones Vidar, “La computadora cuántica de Google es

aproximadamente 158 millones de veces más rápida que la supercomputadora más rápida
del mundo”, Medium, 28 de febrero de 2021, medium.com/ predict/googles-quantum-
computer-is-about- 158 millones de veces más rápida que la supercomputadora más rápida
del mundo 36df56747f7f .
IR A NOTA REFERENCIA EN TEXTO

Descubriendo nuevos medicamentos Jack W. Scannell et al., “Diagnosing the Decline in

Pharmaceutical R&D Efficiency”, Nature Reviews Drug Discovery, 1 de marzo de 2012,
www.nature.com/articles/nrd3681 .
IR A NOTA REFERENCIA EN TEXTO

La esperanza de vida se estabilizó Patrick Heuveline, “Global and National Declines in Life
Expectancy: An End-of-2021 Assessment”, Population and Development Review 48, no. 1
(marzo de 2022), onlinelibrary.wiley.com/doi/10.1111/padr.12477 . Sin embargo, estas
disminuciones se deben a mejoras significativas a largo plazo.
IR A NOTA REFERENCIA EN TEXTO

los “ensayos de medicamentos fallidos” de Alzheimer , Alzheimer's Research UK,

www.alzheimersresearchuk.org/blog-tag/drug-trials/failed-drug-trials .
IR A NOTA REFERENCIA EN TEXTO
Las técnicas de IA pueden buscarse en Michael S. Ringel et al., “Breaking Eroom's Law”,
Nature Reviews Drug Discovery, 16 de abril de 2020, www.nature.com/articles/d41573-020-
00059-3 .
IR A NOTA REFERENCIA EN TEXTO

En 2020, un sistema de IA Jonathan M. Stokes, “A Deep Learning Approach to Antibiotic

Discovery”, Cell, 20 de febrero de 2020, www.cell.com/cell/fulltext/S0092-8674(20)30102-
1.
IR A NOTA REFERENCIA EN TEXTO

Empresas emergentes como Exscientia “Exscientia y Sanofi establecen una colaboración

de investigación estratégica para desarrollar una cartera de medicamentos de ingeniería de
precisión impulsada por IA”, Sanofi, 7 de enero de 2022, www.sanofi.com/en/media-room/
press -lanzamientos/2022/2022-01-07-06-00-00-2362917 .
IR A NOTA REFERENCIA EN TEXTO

Hasta la fecha, dieciocho activos clínicos Nathan Benaich e Ian Hogarth, State of AI Report
2022, 11 de octubre de 2022, www.stateof.ai .
IR A NOTA REFERENCIA EN TEXTO

En seis horas identificó a Fabio Urbina et al., “Dual Use of Artificial-Intelligence-Powered

Drug Discovery”, Nature Machine Intelligence, 7 de marzo de 2022, www.nature.com/
articles/s42256-022-00465-9 .
IR A NOTA REFERENCIA EN TEXTO

En el lanzamiento, la PlayStation 2 K. Thor Jensen, “20 años después: cómo las

preocupaciones sobre las consolas armadas casi hundieron la PS2”, PCMag, 9 de mayo de
2020, www.pcmag.com/news/20-years-later- cómo-las-preocupaciones-sobre-las-
consolas-armadas-casi-hunden-la-ps2 ; Associated Press, “La Playstation2 de alta tecnología
de Sony requerirá una licencia de exportación militar”, Los Angeles Times, 17 de abril de
2000, www.latimes.com/archives/la-xpm-2000-apr-17-fi-20482-story .html .
IR A NOTA REFERENCIA EN TEXTO

Un término más apropiado Para más información sobre el término “uso múltiple”,
consulte, por ejemplo, Cronin, Power to the People .
IR A NOTA REFERENCIA EN TEXTO
Ahora sistemas únicos como Scott Reed et al. de DeepMind, “A Generalist Agent”,
DeepMind, 10 de noviembre de 2022, www.deepmind.com/publications/a-generalist-agent
.
IR A NOTA REFERENCIA EN TEXTO

Investigación interna sobre GPT-4 @GPT-4 Technical Report, OpenAI, 14 de marzo de

2023, cdn.openai.com/papers/gpt-4.pdf . Consulte mobile.twitter.com/michalkosinski/
status/1636683810631974912 para ver uno de los primeros experimentos.
IR A NOTA REFERENCIA EN TEXTO

Las primeras investigaciones incluso afirmaron que Sébastien Bubeck et al., “Sparks of
Artificial General Intelligence: Early Experiments with GPT-4”, arXiv, 27 de marzo de 2023,
arxiv.org/abs/2303.12712 .
IR A NOTA REFERENCIA EN TEXTO

Las IA ya están encontrando formas Alhussein Fawzi et al., “Discovering Novel Algorithms
with AlphaTensor”, DeepMind, 5 de octubre de 2022, www.deepmind.com/blog/
discovering-novel-algorithms-with-alphatensor .
IR A NOTA REFERENCIA EN TEXTO

El investigador de IA Stuart Russell Stuart Russell, Human Compatible: AI and the Problem
of Control (Londres: Allen Lane, 2019).
IR A NOTA REFERENCIA EN TEXTO

De hecho, hay un caso sólido Manuel Alfonseca et al., “Superintelligence Cannot Be

Contained: Lessons from Computability Theory”, Journal of Artificial Intelligence Research, 5
de enero de 2021, jair.org/index.php/jair/ artículo/vista/12202 ; Jaime Sevilla y John
Burden, “La respuesta a la superinteligencia no se puede contener: lecciones de la teoría de
la computabilidad”, Centro para el estudio del riesgo existencial, 25 de febrero de 2021,
www.cser.ac.uk/news/response- superintelligence- contenido .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 8 : INCENTIVOS IMPARABLES

Incluso días antes de su primera competencia pública Véase, por ejemplo, Cade Metz,
Genius Makers: The Mavericks Who Brought AI to Google, Facebook and the World (Londres:
Random House Business, 2021), 170.
IR A NOTA REFERENCIA EN TEXTO

Más de 280 millones de personas buscan en Google, “The Future of Go Summit: 23 May–
27 May, Wuzhen, China”, Google Events, events.google.com/alphago2017 [inactivo].
IR A NOTA REFERENCIA EN TEXTO

Esta fue una crisis para Estados Unidos Paul Dickson, “Sputnik's Impact on America”,
Nova, PBS, 6 de noviembre de 2007, www.pbs.org/wgbh/nova/article/sputnik-impact-on-
america .
IR A NOTA REFERENCIA EN TEXTO

En palabras de Xi Jinping Lo De Wei, “Texto completo del discurso de Xi Jinping en el

Congreso del Partido de China”, Bloomberg, 18 de octubre de 2022, www.bloomberg.com/
news/articles/2022-10-18/ texto-completo-del-discurso-de-xi-jinping-en-china-20th-
party-congress-2022 .
IR A NOTA REFERENCIA EN TEXTO

El modelo vertical de China Véase, por ejemplo, Nigel Inkster, The Great Deupling: China,
America and the Struggle for Technological Supremacy (Londres: Hurst, 2020).
IR A NOTA REFERENCIA EN TEXTO

“Para 2030, las teorías de IA de China” Graham Webster et al., “Full Translation: China's
'New Generation Artificial Intelligence Development Plan'”, DigiChina, Universidad de
Stanford, 1 de agosto de 2017, digichina.stanford.edu/work/ Traducción completa-plan-de-
desarrollo-de-inteligencia-artificial-de-nueva-generación-de-china-2017 .
IR A NOTA REFERENCIA EN TEXTO

De hecho, Tsinghua publica más Benaich y Hogarth, State of AI; Neil Savage, “La carrera
hacia la cima entre los líderes mundiales en inteligencia artificial”, Nature Index, 9 de
diciembre de 2020, www.nature.com/articles/d41586-020-03409-8 ; “La Universidad de
Tsinghua pronto encabezará la Liga Mundial de Investigación Científica”, Economist, 17 de
noviembre de 2018, www.economist.com/china/2018/11/17/tsinghua-university-may-
soon-top -la-liga-mundial-de-investigación-científica .
IR A NOTA REFERENCIA EN TEXTO

China tiene una creciente e impresionante Sarah O'Meara, “¿China liderará el mundo en
IA para 2030?”, Nature, 21 de agosto de 2019, www.nature.com/articles/d41586-019-
02360-7 ; Akira Oikawa y Yuta Shimono, “China Overtakes US in AI Research”, Nikkei Asia,
10 de agosto de 2021, asia.nikkei.com/Spotlight/Datawatch/China-overtakes-US-in-AI-
research .
IR A NOTA REFERENCIA EN TEXTO

En términos de volumen de investigación sobre IA , Daniel Chou, “Counting AI Research:

Exploring AI Research Output in English- and Chinese-Language Sources”, Centro de
Seguridad y Tecnología Emergente, julio de 2022, cset.georgetown.edu/publication/
counting -ai-investigación .
IR A NOTA REFERENCIA EN TEXTO

China superó al estadounidense Remco Zwetsloot, “China Is Fast Outpacing US STEM PhD
Growth”, Centro de Seguridad y Tecnología Emergente, agosto de 2021, cset.
georgetown.edu/publication/china-is-fast-outpacing-us-stem-phd-growth .
IR A NOTA REFERENCIA EN TEXTO

En los primeros años del siglo XXI Graham Allison et al., “The Great Tech Rivalry: China vs
the US”, Harvard Kennedy School Belfer Center, diciembre de 2021, www.belfercenter.org/
sites/default/ archivos/GreatTechRivalry_ChinavsUS_211207.pdf .
IR A NOTA REFERENCIA EN TEXTO

Sobre las tendencias actuales , Xinhua, “China Authorizes Around 700,000 Invention
Patents in 2021: Report”, XinhuaNet, 8 de enero de 2021, english.news.cn/20220108/
ded0496b77c24a3a8712fb26bba390c3/c.html ; “Gráfico de estadísticas de patentes de EE.
UU., años calendario 1963–2020”, Oficina de Patentes y Marcas de EE. UU., mayo de 2021,
www.uspto.gov/web/offices/ac/ido/oeip/taf/us_stat.htm . Sin embargo, las cifras de
Estados Unidos son de 2020. También es importante decir que las patentes de alto valor
también están creciendo rápidamente: Consejo de Estado de la República Popular China,
“China Sees Growing Number of Invention Patents”, Xinhua, 20 de enero de 2020. 2022,
inglés.www.gov.cn/statecouncil/ministries/202201/12/
content_WS61deb7c8c6d09c94e48a3883.html .
IR A NOTA REFERENCIA EN TEXTO

Tiene más Joseph Hincks, “China Now Has More Supercomputers Than Any Other Country”,
Time, 14 de noviembre de 2017, time.com/5022859/china-most-supercomputers-world .
IR A NOTA REFERENCIA EN TEXTO

Xi Jinping ha llamado explícitamente a Jason Douglas, “China's Factories Accelerate

Robotics Push as Workforce Shrinks”, Wall Street Journal, 18 de septiembre de 2022,
www.wsj.com/articles/chinas-factories-accelerate-robotics-push-as -workforce-shrinks-
11663493405 .
IR A NOTA REFERENCIA EN TEXTO
En 2014, China presentó el mismo número Allison et al., “Great Tech Rivalry”.
IR A NOTA REFERENCIA EN TEXTO

Un año después, los chinos construyeron Zhang Zhihao, “Beijing-Shanghai Quantum Link
a 'New Era'”, China Daily USA, 30 de septiembre de 2017, usa.chinadaily.com.cn/china/2017-
09/30 /content_32669867.htm .
IR A NOTA REFERENCIA EN TEXTO

Están invirtiendo más de 10 mil millones de dólares Amit Katwala, “Why China's
Perfectly Place to Be Quantum Computing's Superpower”, Wired, 14 de noviembre de 2018,
www.wired.co.uk/article/quantum-computing-china-us .
IR A NOTA REFERENCIA EN TEXTO

Los científicos de Hefei incluso afirmaron haber construido Han-Sen Zhong et al.,
“Quantum Computational Advantage Using Photons”, Science, 3 de diciembre de 2020,
www.science.org/doi/10.1126/science.abe8770 .
IR A NOTA REFERENCIA EN TEXTO

Investigador principal de Micius Citado en Amit Katwala, Quantum Computing (Londres:

Random House Business, 2021), 88.
IR A NOTA REFERENCIA EN TEXTO

China ya está por delante Allison et al., “Great Tech Rivalry”.

IR A NOTA REFERENCIA EN TEXTO

“No tenemos ninguna posibilidad de competir” Katrina Manson, “EE.UU. ya ha perdido la

lucha contra la IA ante China, dice el ex jefe de software del Pentágono”, Financial Times, 10
de octubre de 2021, www.ft.com/content/f939db9a- 40af-4bd1-b67d-10492535f8e0 .
IR A NOTA REFERENCIA EN TEXTO

“La tecnología avanzada es el arma afilada” Citado en Inkster, The Great Deupling, 193.
IR A NOTA REFERENCIA EN TEXTO

Actualmente, casi todos los países. Para obtener un desglose detallado, consulte “Políticas
y estrategias nacionales de IA”, OECD.AI, oecd.ai/en/dashboards .
IR A NOTA REFERENCIA EN TEXTO
Vladimir Putin cree que el líder “Putin: Leader in Artificial Intelligence Will Rule World”,
CNBC, 4 de septiembre de 2017, www.cnbc.com/2017/09/04/putin-leader-in-artificial-
intelligence -will-rule-world.html .
IR A NOTA REFERENCIA EN TEXTO

El presidente francés Emmanuel Macron Thomas Macaulay, “El sueño de Macron de un

metaverso europeo está lejos de ser una realidad”, Next Web, 14 de septiembre de 2022,
thenextweb.com/news/prospects-for-europes-emerging-metaverse-sector -macron-
vestager-meta .
IR A NOTA REFERENCIA EN TEXTO

Seguridad, riqueza, prestigio “France 2030”, Agence Nationale de la Recherche, 27 de

febrero de 2023, anr.fr/en/france-2030/france-2030 .
IR A NOTA REFERENCIA EN TEXTO

Para 2030, su economía “India to Be a $30 Trillion Economy by 2050: Gautam Adani”,
Economic Times, 22 de abril de 2022, economictimes.indiatimes.com/news/economy/
indicators/india-to-be-a -30-billones-de-economía-para-2050-gautam-adani/articleshow/
90985771.cms .
IR A NOTA REFERENCIA EN TEXTO

En virtud de ello, India estableció Trisha Ray y Akhil Deo, “Priorities for a Technology
Foreign Policy for India”, Asociación de Comercio Internacional de Washington, 25 de
septiembre de 2020, www.wita.org/atp-research/tech-foreign-policy -india .
IR A NOTA REFERENCIA EN TEXTO

Vivimos en una era Cronin, Poder para el Pueblo .

IR A NOTA REFERENCIA EN TEXTO

Por ejemplo, GitHub tiene Neeraj Kashyap, “GitHub's Path to 128M Public Repositories”,
Towards Data Science, 4 de marzo de 2020, forwarddatascience.com/githubs-path-to-128m-
public-repositories-f6f656ab56b1 .
IR A NOTA REFERENCIA EN TEXTO

El servicio original arXiv, "Acerca de ArXiv", arxiv.org/about .

IR A NOTA REFERENCIA EN TEXTO
El gran stock del “Índice general” del mundo, Internet Archive, 7 de octubre de 2021,
archive.org/details/GeneralIndex .
IR A NOTA REFERENCIA EN TEXTO

Gasto mundial en I+D “Investigación y desarrollo: tendencias estadounidenses y

comparaciones internacionales”, Centro Nacional de Estadísticas de Ciencia e Ingeniería, 28
de abril de 2022, ncses.nsf.gov/pubs/nsb20225 .
IR A NOTA REFERENCIA EN TEXTO

Solo el presupuesto de I+D de Amazon Prableen Bajpai, “¿Qué empresas gastan más en
investigación y desarrollo (I+D)?”, Nasdaq, 21 de junio de 2021, www.nasdaq.com/ articles/
what-companies-spend-the-most- en-investigación-y-desarrollo-rd-2021-06-21 .
IR A NOTA REFERENCIA EN TEXTO

Alphabet, Apple, Huawei, Meta “Huawei invierte 22 mil millones de dólares en

investigación y desarrollo para superar las sanciones estadounidenses”, Bloomberg News,
25 de abril de 2022, www.bloomberg.com/news/articles/2022-04-25/huawei- rivales-
apple-meta-con-rd-gasto-para-vencer-las-sanciones ; Jennifer Saba, “Apple tiene el mayor
combustible de crecimiento disponible”, Reuters, 28 de octubre de 2021, www.reuters.com/
breakingviews/apple-has-most-growth-fuel-hand-2021-10-28 .
IR A NOTA REFERENCIA EN TEXTO

Y, sin embargo, también era LeCun Metz, Genius Makers, 58 años.

IR A NOTA REFERENCIA EN TEXTO

NVIDIA no se quejaba Mitchell, Inteligencia Artificial, 103.

IR A NOTA REFERENCIA EN TEXTO

Doscientos cincuenta pasajeros “First in the World: The Making of the Liverpool and
Manchester Railway”, Science+Industry Museum, 20 de diciembre de 2018,
www.scienceandindustrymuseum.org.uk/objects-and-stories/making- el-ferrocarril-de-
liverpool-y-manchester .
IR A NOTA REFERENCIA EN TEXTO

Cinco años después, estaba entregando este relato y el más amplio de William Quinn y
John D. Turner, Boom and Bust: A Global History of Financial Bubbles (Cambridge, Reino
Unido: Cambridge University Press, 2022).
IR A NOTA REFERENCIA EN TEXTO
En su apogeo, las acciones ferroviarias Ibíd.
IR A NOTA REFERENCIA EN TEXTO

El auge ferroviario de la década de 1840 “La belleza de las burbujas”, Economist, 18 de

diciembre de 2008, www.economist.com/christmas-specials/2008/12/18/the-beauty-of-
bubbles .
IR A NOTA REFERENCIA EN TEXTO

Carlota Pérez ve un equivalente Pérez, Revoluciones tecnológicas y capital financiero .

IR A NOTA REFERENCIA EN TEXTO

Hay que convertir la ciencia. Una extensa literatura económica examina la microeconomía
de la innovación y muestra cuán sensible y envuelto en incentivos económicos es este
proceso. Véase, por ejemplo, Lipsey, Carlaw y Bekar, Economic Transformations, para una
descripción general.
IR A NOTA REFERENCIA EN TEXTO

El PIB per cápita ha aumentado Véase Angus Maddison, The World Economy: A Millenarian
Perspective (París: Publicaciones de la OCDE, 2001), o el más actualizado “GDP Per Capita,
1820 to 2018”, Our World in Data, ourworldindata . org/grapher/pib-per-capita-maddison-
2020?yScale=log .
IR A NOTA REFERENCIA EN TEXTO

Ahora, a nivel mundial, esto es lo que dice Nishant Yonzan et al., “Projecting Global
Extreme Poverty up to 2030: How Close Are We to World Bank's 3% Goal?”, Blog de datos
del Banco Mundial, 9 de octubre de 2020, blogs.worldbank.org /opendata/proyectando-la-
pobreza-extrema-global-2030-qué-cerca-estamos-de-los-bancos-mundiales-3-objetivo .
IR A NOTA REFERENCIA EN TEXTO

En el siglo XIX, los inventos Alan Greenspan y Adrian Wooldridge, Capitalism in America: A
History (Londres: Allen Lane, 2018), 15.
IR A NOTA REFERENCIA EN TEXTO

La máquina de coser de Isaac Singer Ibíd., 47.

IR A NOTA REFERENCIA EN TEXTO

En Alemania, por ejemplo , Charlie Giattino y Esteban Ortiz-Ospina, “Are We Working More
Than Ever?”, Our World in Data, ourworldindata.org/working-more-than-ever .
IR A NOTA REFERENCIA EN TEXTO

La tecnología es, con diferencia, el mayor “S&P 500 Data”, S&P Dow Jones Indices, julio de
2022, www.spglobal.com/spdji/en/indices/equity/sp-500/#data .
IR A NOTA REFERENCIA EN TEXTO

Cientos de miles de millones de dólares Solo en 2021 se invirtieron más de 600 mil
millones de dólares de capital de riesgo en todo el mundo, principalmente en empresas de
tecnología y biotecnología, diez veces más que una década antes. Consulte Gené Teare, “La
financiación y la creación de unicornios en 2021 destrozaron todos los récords”, Crunchbase
News, 5 de enero de 2022, news.crunchbase.com/business/global-vc-funding-unicorns-
2021-monthly-recap . Mientras tanto, las inversiones de capital privado en tecnología
también aumentaron a más de 400 mil millones de dólares en 2021, con diferencia la
categoría individual más grande. Véase Laura Cooper y Preeti Singh, “Private Equity Backs
Record Volumen de ofertas tecnológicas”, Wall Street Journal, 3 de enero de 2022,
www.wsj.com/articles/private-equity-backs-record-volume-of-tech-deals-11641207603 .
IR A NOTA REFERENCIA EN TEXTO

Inversión en tecnologías de IA Véase, por ejemplo, el Informe del Índice de Inteligencia

Artificial 2021, aunque las cifras ciertamente han aumentado con el auge de la IA generativa
desde entonces.
IR A NOTA REFERENCIA EN TEXTO

PwC pronostica que la IA agregará “Sizing the Prize—PwC's Global Artificial Intelligence
Study: Exploiting the AI Revolution”, PwC, 2017, www.pwc.com/gx/en/issues/data-and-
analytics/publications /estudio-de-inteligencia-artificial.html .
IR A NOTA REFERENCIA EN TEXTO

McKinsey pronostica un aumento de 4 billones de dólares Jacques Bughin et al., “Notes

from the AI Frontier: Modeling the Impact of AI on the World Economy”, McKinsey, 4 de
septiembre de 2018, www.mckinsey.com/ featured-insights/ inteligencia-artificial/notas-
desde-la-frontera-de-la-ia-modelando-el-impacto-de-la-ia-en-la-economía-mundial ;
Michael Ciu, “The Bio Revolution: Innovations Transforming Economies, Societies, and Our
Lives”, McKinsey Global Institute, 13 de mayo de 2020, www.mckinsey.com/industries/
pharmaceuticals-and-medical-products/our-insights /las-innovaciones-de-la-bio-
revolución-transformando-las-economías-sociedades-y-nuestras-vidas .
IR A NOTA REFERENCIA EN TEXTO
Impulsando las instalaciones mundiales de robots “How Robots Change the World”,
Oxford Economics, 26 de junio de 2019, resources.oxfordeconomics.com/hubfs/
How%20Robots%20Change%20the%20World%20(PDF).pdf .
IR A NOTA REFERENCIA EN TEXTO

Considere que la economía mundial La economía mundial en la segunda mitad del siglo
XX”, OCDE, 22 de septiembre de 2006, read.oecd-ilibrary.org/development/the-world-
economy/the-world-economy -en-la-segunda-mitad-del-siglo-xx_9789264022621-5-
es#page1 .
IR A NOTA REFERENCIA EN TEXTO

Con la IA generalista Philip Trammell et al., “Economic Growth Under Transformative AI”,
Global Priorities Institute, octubre de 2020, globalprioritiesinstitute.org/wp-content/
uploads/Philip-Trammell-and-Anton-Korinek_economic-growth- under-transformative-
ai.pdf . Esto lleva al escenario extraordinario e imposible de un aumento “lo suficientemente
rápido como para producir una producción infinita en un período de tiempo finito”.
IR A NOTA REFERENCIA EN TEXTO

Suponiendo condiciones climáticas favorables Hannah Ritchie et al., “Crop Yields”, Our
World in Data, ourworldindata.org/crop-yields .
IR A NOTA REFERENCIA EN TEXTO

En el siglo XXI, rendimientos “Estadísticas agrícolas: áreas de cultivos finales,

rendimientos, poblaciones ganaderas y fuerza laboral agrícola al 1 de junio de 2020 Reino
Unido”, Departamento de Medio Ambiente, Alimentación y Asuntos Rurales del Gobierno del
Reino Unido, 22 de diciembre de 2020, activos . Publishing.service.gov.uk/government/
uploads/system/uploads/attachment_data/file/946161/structure-jun2020final-uk-
22dec20.pdf .
IR A NOTA REFERENCIA EN TEXTO

Rendimientos de maíz por hectárea Ritchie et al., “Crop Yields”.

IR A NOTA REFERENCIA EN TEXTO

La mano de obra requería Smil, Cómo funciona realmente el mundo , 66.

IR A NOTA REFERENCIA EN TEXTO

En 1945, alrededor del 50 por ciento Max Roser y Hannah Ritchie, “Hunger and
Undernourishment”, Our World in Data, ourworldindata.org/hunger-and-
undernourishment .
IR A NOTA REFERENCIA EN TEXTO

Mientras que la generación de electricidad limpia Smil, How the World Really Works , 36.
IR A NOTA REFERENCIA EN TEXTO

Desde principios del siglo XXI Ibíd., 42.

IR A NOTA REFERENCIA EN TEXTO

Imaginemos el tomate medio Ibíd., 61.

IR A NOTA REFERENCIA EN TEXTO

Es más, para satisfacer la demanda global Daniel Quiggin et al., “Climate Change Risk
Assessment 2021”, Chatham House, 14 de septiembre de 2021, www.chathamhouse.org/
2021/09/climate-change-risk-assessment -2021?7J7ZL,68TH2Q,UNIN9 .
IR A NOTA REFERENCIA EN TEXTO

Y, sin embargo, en gran medida no se ha inventado Elizabeth Kolbert, Under a White Sky:
The Nature of the Future (Nueva York: Crown, 2022), 155.
IR A NOTA REFERENCIA EN TEXTO

La IA ha ayudado a diseñar una enzima Hongyuan Lu et al., “Machine Learning–Aided

Engineering of Hydrolases for PET Depolymerization”, Nature, 27 de abril de 2022,
www.nature.com/articles/s41586-022-04599-z .
IR A NOTA REFERENCIA EN TEXTO

“Cuando ves algo” “J. Robert Oppenheimer 1904–67”, en Oxford Essential Quotations, ed.
Susan Ratcliffe (Oxford: Oxford University Press, 2016), www.oxfordreference.com/view/
10.1093/acref/9780191826719.001.0001/q-oro-ed4-00007996 .
IR A NOTA REFERENCIA EN TEXTO

“Lo que estamos creando ahora” Citado en Dyson, Catedral de Turing .

IR A NOTA REFERENCIA EN TEXTO
CAPÍTULO 9 : EL GRAN TRATO

En esencia, el Estado-nación. Es evidente que existe mucha complejidad y mucha literatura

sobre el uso de los términos “Estado-nación” y “Estado”. Sin embargo, aquí los usamos de
una manera bastante básica: los Estados-nación son los países del mundo, su gente y sus
gobiernos (con toda la gran diversidad y complejidad que eso implica); Los estados son los
gobiernos y sistemas de gobierno y servicio social dentro de esos estados-nación. Irlanda,
Israel, India e Indonesia son tipos muy diferentes de naciones y Estados, pero todavía
podemos pensar en ellos como un conjunto coherente de organismos a pesar de sus muchas
distinciones. Los Estados-nación siempre han sido “una especie de ficción”, en palabras de
Wendy Brown ( Walled States, Waning Sovereignty [Nueva York: Zone Books, 2010], 69):
¿cómo puede el pueblo ser soberano si el poder se ejerce sobre él? ? No obstante, el Estado-
nación es una ficción increíblemente útil y poderosa.
IR A NOTA REFERENCIA EN TEXTO

Tasas de alfabetización, esperanza de vida Max Roser y Esteban Ortiz-Ospina, “Literacy”,

Our World in Data, ourworldindata.org/literacy .
IR A NOTA REFERENCIA EN TEXTO

Las sociedades occidentales en particular. En palabras de William Davies, Nervous States:

How Feeling Took Over the World (Londres: Jonathan Cape, 2018).
IR A NOTA REFERENCIA EN TEXTO

Confianza en el gobierno Un tercio (35 por ciento) de la población del Reino Unido informó
que confía en su gobierno nacional, cifra inferior al promedio de los países de la OCDE (41
por ciento). La mitad (49 por ciento) de la población del Reino Unido dijo que no confiaba en
el gobierno nacional. “Construir confianza para reforzar la democracia: hallazgos clave de la
encuesta de la OCDE de 2021 sobre los impulsores de la confianza en las instituciones
públicas”, OCDE, www.oecd.org/governance/trust-in-government .
IR A NOTA REFERENCIA EN TEXTO

Para presidentes recientes como Obama “Public Trust in Government: 1958–2022”, Pew
Research Center, 6 de junio de 2022, www.pewresearch.org/politics/2022/06/06/public-
trust-in -gobierno-1958-2022 .
IR A NOTA REFERENCIA EN TEXTO

Sorprendentemente, un estudio de 2018 de Lee Drutman et al., “Follow the Leader:

Exploring American Support for Democracy and Authoritarism”, Grupo de estudio de
votantes del Fondo para la Democracia, marzo de 2018, fsi-live.s3.us-west-
1.amazonaws.com /s3fs-public/followtheleader_2018mar13.pdf .
IR A NOTA REFERENCIA EN TEXTO
No menos del 85 por ciento de los estadounidenses “Insatisfacción bipartidista con la
dirección del país y la economía”, AP NORC, 29 de junio de 2022, apnorc.org/projects/
bippartid-dissatisfaction-with-the-direction-of-the -país-y-la-economía .
IR A NOTA REFERENCIA EN TEXTO

La desconfianza se extiende a las organizaciones no gubernamentales Véase, por

ejemplo, Daniel Drezner, The Ideas Industry: How Pessimists, Partisans, and Plutocrats Are
Transforming the Marketplace of Ideas (Nueva York: Oxford University Press, 2017) y
Edelman Trust Barometer: “2022 Edelman Trust Barómetro”, Edelman, www.edelman.com/
trust/2022-trust-barometer .
IR A NOTA REFERENCIA EN TEXTO

Una encuesta del Índice de Percepción de la Democracia Richard Wike et al., “Muchos en
todo el mundo están insatisfechos con cómo funciona la democracia”, Pew Research Center,
29 de abril de 2019, www.pewresearch.org/global/2019/04/ 29/muchos-en-todo-el-
mundo-están-insatisfechos-con-cómo-funciona-la-democracia/ ; Dalia Research et al.,
“Índice de percepción de la democracia 2018”, Alianza de Democracias, junio de 2018,
www.allianceofdemocracies.org/wp-content/uploads/2018/06/Democracy-Perception-
Index-2018-1 .pdf .
IR A NOTA REFERENCIA EN TEXTO

Desde 2010, más países “New Report: The Global Decline in Democracy Has Accelerated”,
Freedom House, 3 de marzo de 2021, freedomhouse.org/article/new-report-global-decline-
democracy-has-accelerated .
IR A NOTA REFERENCIA EN TEXTO

Un catalizador clave de la inestabilidad Véase, por ejemplo, Thomas Piketty, Capital in the
Twenty-first Century (Cambridge, Mass.: Harvard University Press, 2014), y Anthony B.
Atkinson, Inequality: What Can Be Done? (Cambridge, Mass.: Harvard University Press,
2015), para estudios más amplios.
IR A NOTA REFERENCIA EN TEXTO

Entre 1980 y 2021 “Participación del ingreso nacional del 1% superior”, base de datos
sobre desigualdad mundial, wid.world/world/#sptinc_p99p100_z/
US;FR;DE;CN;ZA;GB;WO/last/eu/ k/p/anual/s/false/5.65799999999999995/30/curve/
false/país .
IR A NOTA REFERENCIA EN TEXTO
La riqueza es cada vez más Richard Mille, “Lista de multimillonarios del mundo de Forbes:
los más ricos en 2023”, Forbes, www.forbes.com/billionaires/ . Si bien es cierto el PIB es un
flujo, no un stock Al igual que la riqueza, la comparación sigue siendo sorprendente.
IR A NOTA REFERENCIA EN TEXTO

Política gubernamental, una reducción Alistair Dieppe, “The Broad-Based Productivity

Slowdown, in Seven Charts”, Blogs del Banco Mundial: Hablemos de Desarrollo, 14 de julio de
2020, blogs.worldbank.org/developmenttalk/broad-based-productivity- desaceleración-
siete-gráficos .
IR A NOTA REFERENCIA EN TEXTO

Cuarenta millones de personas en los Estados Unidos Jessica L. Semega et al., “Income
and Poverty in the United States: 2016”, Oficina del Censo de EE. UU., www.census.gov/
content/dam/Census/library/ Publicaciones/2017/demo/P60-259.pdf , publicado en
digitallibrary.un.org/record/1629536?ln=en .
IR A NOTA REFERENCIA EN TEXTO

Estas son tendencias especialmente preocupantes. Véase, por ejemplo, Christian Houle
et al., “Social Mobility and Political Instability”, Journal of Conflict Resolution, 8 de agosto de
2017, journals.sagepub.com/doi/full/10.1177/ 0022002717723434 ; y Carles Boix,
“Economic Roots of Civil Wars and Revolutions in the Contemporary World”, World Politics
60, no. 3 (abril de 2008): 390–437.
IR A NOTA REFERENCIA EN TEXTO

Se necesitaría ser valiente. La desaparición del Estado-nación no es una idea novedosa;

véase, por ejemplo, Rana Dasgupta, “The Demise of the Nation State”, Guardian, 5 de abril de
2018, www.theguardian.com/news/2018/apr/05/demise-of-the-nation -estado-rana-
dasgupta .
IR A NOTA REFERENCIA EN TEXTO

Un metaanálisis publicado por Philipp Lorenz-Spreen et al., “A Systematic Review of

Worldwide Causal and Correlational Evidence on Digital Media and Democracy”, Nature
Human Behaviour, 7 de noviembre de 2022, www.nature.com/articles/ s41562-022-01460-
1.
IR A NOTA REFERENCIA EN TEXTO

Como afirma el historiador de la tecnología Langdon Winner, Tecnología autónoma:

técnicas fuera de control como tema en el pensamiento político (Cambridge, Mass.: MIT Press,
1977), 6.
IR A NOTA REFERENCIA EN TEXTO

Si bien la tecnología no es simplista, consulte, por ejemplo, Jenny L. Davis, How Artifacts
Afford: The Power and Politics of Everyday Things (Cambridge, Mass.: MIT Press, 2020). Las
tecnologías son, en palabras de Ursula M. Franklin ( The Real World of Technology [Toronto:
House of Anansi, 1999]), prescriptivas; es decir, su creación o uso incita o requiere ciertos
comportamientos, divisiones del trabajo o resultados. Los agricultores que poseen un tractor
realizarán su trabajo y estructurarán sus necesidades de manera diferente a los agricultores
que tienen dos bueyes y un arado. La división del trabajo impulsada por un sistema fabril
produce diferentes tipos de organizaciones sociales de una sociedad de cazadores-
recolectores: una cultura de cumplimiento y administración. “Los patrones establecidos en
la práctica de la tecnología se vuelven parte de la vida de una sociedad” (55).
IR A NOTA REFERENCIA EN TEXTO

El reloj producía tiempos fijos Véase Mumford, Technics and Civilization, para un brillante
análisis de los impactos de los relojes mecánicos.
IR A NOTA REFERENCIA EN TEXTO

La imprenta ayudó a Benedict Anderson, Imagined Communities: Reflections on the Origin

and Spread of Nationalism (Londres: Verso, 1983).
IR A NOTA REFERENCIA EN TEXTO

En una trayectoria, un politólogo liberal de Cambridge, David Runciman, habla de

“democracias zombis”, que significa algo similar: “La idea básica es que la gente simplemente
está viendo una actuación en la que su papel es dar o negar aplausos en el momento
apropiado”. momentos. La política democrática se ha convertido en un espectáculo
elaborado”. David Runciman, Cómo termina la democracia (Londres: Profile Books, 2019),
47.
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 10 : AMPLIFICADORES DE FRAGILIDAD

El NHS se había visto afectado . Véase, por ejemplo, S. Ghafur et al., “A Retrospective Impact
Analysis of the WannaCry Cyberattack on the NHS”, NPJ Digital Medicine, 2 de octubre de
2019, www.nature.com/articles/ s41746-019-0161-6 , para más información.
IR A NOTA REFERENCIA EN TEXTO
WannaCry engañó a algunos usuarios Mike Azzara, “¿Qué es WannaCry Ransomware y
cómo funciona?”, Mimecast, 5 de mayo de 2021, www.mimecast.com/blog/all-you-need-to-
know-about-wannacry -ransomware .
IR A NOTA REFERENCIA EN TEXTO

El daño resultante le costó a Andy Greenberg, “The Untold Story of NotPetya, the Most
Devastating Cyberattack in History”, Wired, 22 de agosto de 2018, www.wired.com/story/
notpetya-cyberattack-ukraine-russia-code- se estrelló-el-mundo .
IR A NOTA REFERENCIA EN TEXTO

En palabras de un miembro del personal de la NSA , James Bamford, “Comentario: La

evidencia apunta a otro Snowden en la NSA”, Reuters, 22 de agosto de 2016,
www.reuters.com/article /us-intelligence-nsa-commentary-idUSKCN10X01P .
IR A NOTA REFERENCIA EN TEXTO

“Un escenario equivalente” Brad Smith, “La necesidad de una acción colectiva urgente para
mantener a las personas seguras en línea: lecciones del ciberataque de la semana pasada”,
Blogs de Microsoft: sobre los problemas, 14 de mayo de 2017, blogs.microsoft.com/on-the -
issues/2017/05/14/necesita-acción-colectiva-urgente-mantener-a-las-personas-seguras-
lecciones-en-línea-last-semanas-ciberataque .
IR A NOTA REFERENCIA EN TEXTO

Poder es “la habilidad o capacidad” Definiciones tomadas de Oxford Languages,

language.oup.com .
IR A NOTA REFERENCIA EN TEXTO

En palabras de Ronen Bergman et al. del New York Times , “The Scientist and the AI-
Assisted, Remote-Control Killing Machine”, New York Times, 18 de septiembre de 2021,
www.nytimes.com/2021/ 09/18/world/middleeast/iran-nuclear-fakhrizadeh-
assassination-israel.html .
IR A NOTA REFERENCIA EN TEXTO

El costo de los drones de grado militar Azhar, Exponential, 192.

IR A NOTA REFERENCIA EN TEXTO

Para 2028, 26 mil millones de dólares al año Fortune Business Insights, “El mercado de
drones militares alcanzará los 26,12 mil millones de dólares para 2028; Rising Military
Spending Worldwide to Augment Growth”, Global News Wire, 22 de julio de 2021,
www.globenewswire.com/en/news-release/2021/07/22/2267009/0/en/ El mercado de
drones militares alcanzará los 26-12 mil millones de dólares para 2028: el aumento del gasto
militar en todo el mundo para aumentar el crecimiento-Fortune-Business-Insights.html .
IR A NOTA REFERENCIA EN TEXTO

En mayo de 2021, por ejemplo , David Hambling, “Israel Used World's First AI-Guided
Combat Drone Swarm in Gaza Attacks”, New Scientist, 30 de junio de 2021,
www.newscientist.com/article/2282656-israel-used-worlds -primeros-ataques-de-
enjambre-de-drones-de-combate-guiados-por-ai-en-gaza .
IR A NOTA REFERENCIA EN TEXTO

Empresas emergentes como Anduril Dan Primack, “Exclusive: Rebellion Defense Raises
$150 Million at $1 Billion Valuation”, Axios, 15 de septiembre de 2021, www.axios.com/
2021/09/15/rebellion-defense- plantea una valoración de 150 millones de mil millones ;
Ingrid Lunden, “Anduril está recaudando hasta 1.200 millones de dólares, según dicen las
fuentes, con una valoración previa al dinero de 7.000 millones de dólares, para su tecnología
de defensa”, TechCrunch, 24 de mayo de 2022, techcrunch.com/2022/05/24 / presentación-
anduril-está-recaudando-hasta-1-2b-fuentes-dicen-en-una-valuación-pre-dinero-7b-para-
su-tecnología-de-defensa .
IR A NOTA REFERENCIA EN TEXTO

Como señala el experto en ciberseguridad Bruce Schneier, “The Coming AI Hackers”,

Harvard Kennedy School Belfer Center, abril de 2021, www.belfercenter.org/publication/
coming-ai-hackers .
IR A NOTA REFERENCIA EN TEXTO

Los investigadores de Meta crearon Anton Bakhtin et al., “Human-Level Play in the Game
of Diplomacy by Combining Language Models with Strategic Reasoning”, Science, 22 de
noviembre de 2022, www.science.org/doi/10.1126/ ciencia.ade9097 .
IR A NOTA REFERENCIA EN TEXTO

Cuando no estatal Véase Benjamin Wittes y Gabriella Blum, The Future of Violence: Robots
and Germans, Hackers and Drones—Confronting A New Age of Threat (Nueva York: Basic
Books, 2015), para una versión más desarrollada de este argumento.
IR A NOTA REFERENCIA EN TEXTO

Ambos se veían y sonaban Reportado por primera vez en Nilesh Cristopher, “Acabamos de
ver el primer uso de deepfakes en una campaña electoral india”, Vice, 18 de febrero de 2020,
www.vice.com/en/article/jgedjb /el-primer-uso-de-deepfakes-en-las-elecciones-indias-
por-bjp .
IR A NOTA REFERENCIA EN TEXTO

En otro incidente ampliamente publicitado , Melissa Goldin, “El video de Biden cantando
'Baby Shark' es un deepfake”, Associated Press, 19 de octubre de 2022, apnews.com/ article/
fact-check-biden-baby-shark-deepfake -412016518873 ; “El video de Doctored Nancy Pelosi
destaca la amenaza de la tecnología 'Deepfake'”, CBS News, 25 de mayo de 2019,
www.cbsnews.com/news/doctored-nancy-pelosi-video-highlights-threat-of-deepfake-
tech- 2019-05-25 .
IR A NOTA REFERENCIA EN TEXTO

Si quieres ver TikTok @deeptomcruise, www.tiktok.com/@deeptomcruise?lang=en .

IR A NOTA REFERENCIA EN TEXTO

Un banco en Hong Kong Thomas Brewster, “Fraudsters Cloned Company Director's Voice
in $35 Million Bank Heist, Police Find”, Forbes, 14 de octubre de 2021, www.forbes.com/
sites/thomasbrewster/2021/10/ 14/un-gran-fraude-banco-utiliza-tecnología-de-voz-
falsa-profunda-para-robar-millones .
IR A NOTA REFERENCIA EN TEXTO

Todos los documentos parecían Catherine Stupp, “Fraudsters Used AI to Mimic CEO's
Voice in Unusual Cybercrime Case”, Wall Street Journal, 30 de agosto de 2019, www.wsj.com/
articles/fraudsters-use-ai-to-mimic -voz-de-ceos-en-caso-de-cibercrimen-inusual-
11567157402 .
IR A NOTA REFERENCIA EN TEXTO

No es el presidente el que carga, lo cual es un verdadero deepfake. Véase Kelly Jones,

“Video viral de Biden dice que está restableciendo el borrador es un deepfake”, Verify, 1 de
marzo de 2023, www.verifythis.com/article/news/verify/national-verify/viral-video-of-
biden-saying-hes -reinstalar-el-borrador-es-un-deepfake/536-d721f8cb-d26a-4873-b2a8-
91dd91288365 .
IR A NOTA REFERENCIA EN TEXTO

Sus mensajes radicalizadores fueron Josh Meyer, “Anwar al-Awlaki: The Radical Cleric
Inspiring Terror from Beyond the Grave”, NBC News, 21 de septiembre de 2016,
www.nbcnews.com/news/ us-news/anwar- al-awlaki-clérigo-radical-inspirador-terror-
más allá-de-la-tumba-n651296 ; Alex Hern, “Videos del 'islamista de YouTube' Anwar al-
Awlaki eliminados en la represión del extremismo”, Guardian, 13 de noviembre de 2017,
www.theguardian.com/technology/2017/nov/13/youtube-islamist- videos-de-anwar-al-
awlaki-eliminados-google-extremismo-represión .
IR A NOTA REFERENCIA EN TEXTO
Pronto estos videos serán completamente de Eric Horvitz, “On the Horizon: Interactive
and Compositional Deepfakes”, ICMI '22: Actas de la Conferencia Internacional sobre
Interacción Multimodal de 2022, arxiv.org/abs/2209.01714 .
IR A NOTA REFERENCIA EN TEXTO

Según Facebook Senado de EE. UU., Informe del Comité Selecto de Inteligencia: Campañas
rusas de medidas activas e interferencia en las elecciones estadounidenses de 2016, vol. 5,
Amenazas y vulnerabilidades de contrainteligencia, 116.º Congreso, 1.ª sesión,
www.intelligence.senate.gov/sites/default/files/documents/report_volume5.pdf ; Nicholas
Fandos et al., “House Intelligence Committee Releases Incendiary Russian Social Media Ads”,
New York Times, 1 de noviembre de 2017, www.nytimes.com/2017/11/01/us/politics/
rusia-tecnología-facebook.html .
IR A NOTA REFERENCIA EN TEXTO

Desafortunadamente, esto está lejos de ser sólo Rusia . Sin embargo, a menudo es Rusia.
En 2021, el 58 por ciento de los ciberataques procedieron únicamente de Rusia. Consulte
Tom Burt, “Los ciberataques rusos plantean un mayor riesgo para los gobiernos y otras ideas
de nuestro informe anual”, Blogs de Microsoft: sobre los problemas, 7 de octubre de 2021,
blogs.microsoft.com/on-the-issues/2021/ 10/07/informe-de-defensa-digital-2021 .
IR A NOTA REFERENCIA EN TEXTO

Más de setenta países Samantha Bradshaw et al., “Industrialized Disinformation: 2020

Global Inventory of Organized Social Media Manipulation”, Programa de Democracia y
Tecnología de la Universidad de Oxford, 13 de enero de 2021, demtech.oii.ox.ac.uk/ research
/posts/desinformación-industrializada .
IR A NOTA REFERENCIA EN TEXTO

La CIA tampoco es ajena. Véase, por ejemplo, Krassi Twigg y Kerry Allen, “The
Disinformation Tactics Used by China”, BBC News, 12 de marzo de 2021, www.bbc.co.uk/
news/56364952 ; Kenddrick Chan y Mariah Thornton, “China's Changing Disinformation
and Propaganda Targeting Taiwan”, Diplomat, 19 de septiembre de 2022, thediplomat.com/
2022/09/chinas-changing-disinformation-and-propaganda-targeting-taiwan/ ; y Emerson
T. Brooking y Suzanne Kianpour, “Iranian Digital Influence Efforts: Guerrilla Broadcasting
for the Twenty-first Century”, Atlantic Council, 11 de febrero de 2020,
www.atlanticcouncil.org/ in- Depth-research-reports/ informe/esfuerzos-de-influencia-
digital-iraní-radiodifusión-de-guerrilla-para-el-siglo XXI .
IR A NOTA REFERENCIA EN TEXTO

Ochenta y dos por ciento de los usuarios influyentes Virginia Alvino Young, “Nearly Half
of the Twitter Accounts Discussing 'Reopening America' May Be Bots”, Universidad Carnegie
Mellon, 27 de mayo de 2020, www.cmu.edu/news/stories/ archivos/2020/may/twitter-
bot-campaign.html .
IR A NOTA REFERENCIA EN TEXTO

Indique un “Infocalipsis” Véase Nina Schick, Deep Fakes and the Infocalypse: What You
Urgently Need to Know (Londres: Monoray, 2020); y Ben Buchanan et al., “Truth, Lies, and
Automation”, Centro de Seguridad y Tecnología Emergente, mayo de 2021,
cset.georgetown.edu/publication/truth-lies-and-automation .
IR A NOTA REFERENCIA EN TEXTO

En palabras de William A. Galston, miembro de la Brookings Institution, “¿Ver sigue siendo

creer? The Deepfake Challenge to Truth in Politics”, Brookings, 8 de enero de 2020,
www.brookings.edu/research/is-seeing-still-believing-the-deepfake-challenge-to-truth-in-
politics .
IR A NOTA REFERENCIA EN TEXTO

Descubierto por primera vez en China. Figura tomada de William MacAskill, What We Owe
the Future: A Million-Year View (Londres: Oneworld, 2022), 112, quien cita una variedad de
fuentes, aunque reconoce que ninguna está segura sobre este número. Véase también HC
Kung et al., “Influenza in China in 1977: Recurrence of Influenza Virus A Subtype H1N1”,
Boletín de la Organización Mundial de la Salud 56, no. 6 (1978), www.ncbi.nlm.nih
.gov/pmc/articles/PMC2395678/pdf/ bullwho00443-0095.pdf .
IR A NOTA REFERENCIA EN TEXTO

Lo inusual de la gripe H1N1 Joel O. Wertheim, “The Re-emergence of H1N1 Influenza Virus
in 1977: A Cautionary Tale for Estimating Divegence Times Using Biologically Unrealistic
Sampling Dates”, PLOS ONE, 17 de junio de 2010, journals.plos. org/plosone/
article?id=10.1371/journal.pone.0011184 .
IR A NOTA REFERENCIA EN TEXTO

Una versión del virus anterior Véase, por ejemplo, Edwin D. Kilbourne, “Influenza
Pandemics of the 20th Century”, Emerging Infectious Diseases 12, no. 1 (enero de 2006),
www.ncbi.nlm.nih.gov/pmc/articles/PMC3291411 ; y Michelle Rozo y Gigi Kwik Gronvall,
“The Reemergent 1977 H1N1 Strain and the Gain-of-Function Debate”, mBio, 18 de agosto
de 2015, www.ncbi.nlm.nih.gov/pmc/articles/PMC4542197 .
IR A NOTA REFERENCIA EN TEXTO

Y, sin embargo, accidentes y filtraciones Véanse, por ejemplo, buenos relatos en Alina
Chan y Matt Ridley, Viral: The Search for the Origin of Covid-19 (Londres: Fourth Estate,
2022), y MacAskill, What We Owe the Future .
IR A NOTA REFERENCIA EN TEXTO

Solo dos años después, las esporas de ántrax Kai Kupferschmidt, “Anthrax Genome
Reveals Secrets About a Soviet Bioweapons Accident”, Science, 16 de agosto de 2016,
www.science.org/content/article/anthrax-genome-reveals-secrets- sobre-el-accidente-de-
armas-biológicas-soviéticas .
IR A NOTA REFERENCIA EN TEXTO

En 2007, una tubería con fugas TJD Knight-Jones y J. Rushton, “The Economic Impacts of
Foot and Mouth Disease—What Are They, How Big Are They, and Where Do They Occur?”,
Preventive Veterinary Medicine, noviembre de 2013 , www . .ncbi.nlm.nih.gov/pmc/
articles/PMC3989032/#bib0005 . Cabe señalar que los daños fueron mucho menores que
los del brote de 2001, que se debió a causas naturales.
IR A NOTA REFERENCIA EN TEXTO

En 2021, una empresa farmacéutica Maureen Breslin, “Lab Worker Finds Vials Labeled
'Smallpox' at Merck Facility”, The Hill, 17 de noviembre de 2021, thehill.com/policy/
healthcare/581915-lab-worker-finds -viales-etiquetados-viruela-en-las-instalaciones-de-
merck-cerca-de-filadelfia .
IR A NOTA REFERENCIA EN TEXTO

Antes de que fuera erradicada Sophie Ochmann y Max Roser, “Smallpox”, Our World in
Data, ourworldindata.org/smallpox ; Kelsey Piper, “La viruela solía matar a millones de
personas cada año. Así es como los humanos lo superan”, Vox, 8 de mayo de 2022,
www.vox.com/future-perfect/21493812/smallpox-eradication-vaccines-infectious-
disease-covid-19 .
IR A NOTA REFERENCIA EN TEXTO

Increíblemente, escapó. Véase, por ejemplo, Kathryn Senio, “Recent Singapore SARS Case
a Laboratory Accident”, Lancet Infectious Diseases, noviembre de 2003, www.thelancet.com/
journals/laninf/article/PIIS1473-3099. (03)00815-6/texto completo ; Jane Parry, “Las
infracciones de las normas de seguridad son causa probable de un reciente brote de SARS,
dice la OMS”, BMJ, 20 de mayo de 2004, www.bmj.com/content/328/7450/1222.3 ; y Martin
Furmanski, “Laboratory Escapes and 'Self-Fulfilling Prophecy' Epidemics”, Arms Control
Center, 17 de febrero de 2014, armscontrolcenter.org/wp-content/uploads/2016/02/
Escaped-Viruses- final-2-17-14-copia.pdf .
IR A NOTA REFERENCIA EN TEXTO

Incluso con el número de laboratorios BSL-4 Alexandra Peters, “The Global Proliferation
of High-Containment Biological Laboratories: Understanding the Phenomenon and Its
Implications”, Revue Scientifique et Technique, diciembre de 2018, pubmed.ncbi.nlm.nih.gov/
30964462 . El número de laboratorios ha pasado de cincuenta y nueve a sesenta y nueve en
los últimos dos años, la mayoría están en contextos urbanizados y el número de laboratorios
que manejan patógenos mortales supera el centenar. También ha prosperado una nueva
generación de laboratorios “BSL-3+”. Véase Filippa Lentzos et al., “Global BioLabs Report
2023”, King's College London, 16 de mayo de 2023, www.kcl.ac.uk/warstudies/assets/
global-biolabs-report-2023.pdf .
IR A NOTA REFERENCIA EN TEXTO

Entre 1975 y 2016 David Manheim y Gregory Lewis, “High-Risk Human-Caused Pathogen
Exposure Events from 1975–2016”, F1000Research, 8 de julio de 2022, f1000research.com/
articles/10-752 .
IR A NOTA REFERENCIA EN TEXTO

Una encuesta de funcionarios de bioseguridad David B. Manheim, “Resultados de una

encuesta de 2020 sobre requisitos y prácticas de informes para accidentes de laboratorio de
biocontención”, Health Security 19, no. 6 (2021), www.liebertpub.com/doi/10.1089/
hs.2021.0083 .
IR A NOTA REFERENCIA EN TEXTO

Una evaluación de riesgos en EE. UU. de 2014 Lynn C. Klotz y Edward J. Sylvester, “The
Consequences of a Lab Escape of a Potential Pandemic Pathogen”, Frontiers in Public Health,
11 de agosto de 2014, www.frontiersin.org/articles/ 10.3389/fpubh.2014.00116/completo
.
IR A NOTA REFERENCIA EN TEXTO

Pocas áreas de la biología son tan controvertidas. Gracias en particular a Jason Matheny
y Kevin Esvelt por su discusión sobre este tema.
IR A NOTA REFERENCIA EN TEXTO

Work with an avian flu Martin Enserink y John Cohen, “One of Two Hotly Debated H5N1
Papers Finalmente publicado”, Science, 2 de mayo de 2012, www.science.org/content/
article/one-two-hotly-debated -artículos-h5n1-finalmente-publicados .
IR A NOTA REFERENCIA EN TEXTO

Durante un tiempo, la agencia de financiación estadounidense Amber Dance, “The

Shifting Sands of 'Gain-of-Function' Research”, Nature, 27 de octubre de 2021,
www.nature.com/articles/d41586-021-02903-x .
IR A NOTA REFERENCIA EN TEXTO
Hay al menos algunos indicios Chan y Ridley, Viral; “Una nueva investigación controvertida
sugiere que el SARS-CoV-2 presenta signos de ingeniería genética”, Economist, 27 de octubre
de 2022, www.economist.com/science-and-technology/2022/10/22/a- nuevo-papel-
afirma-sars-cov-2-tiene-signos-de-ingeniería-genética .
IR A NOTA REFERENCIA EN TEXTO

Tanto el FBI como el Departamento de Energía de EE. UU. Véase, por ejemplo, Max Matza
y Nicholas Yong, “FBI Chief Christopher Wray Says China Lab Leak Most Likely”, BBC, 1 de
marzo de 2023, www.bbc.co.uk/ news /world-us-canada-64806903 .
IR A NOTA REFERENCIA EN TEXTO

A finales de 2022, un estudio de los NIH Da-Yuan Chen et al., “Role of Spike in the
Pathogenic and Antigenic Behavior of SARS-CoV-2 BA.1 Omicron”, bioRxiv, 14 de octubre de
2022, www.biorxiv.org /content/10.1101/2022.10.13.512134v1 .
IR A NOTA REFERENCIA EN TEXTO

Muchos sintieron que la investigación no debería Kiran Stacey, “US Health Officials Probe
Boston University's Covid Virus Research”, Financial Times, 20 de octubre de 2022,
www.ft.com/content/f2e88a9c-104a-4515-8de1-65d72a5903d0 .
IR A NOTA REFERENCIA EN TEXTO

Análisis inicial de ChatGPT Shakked Noy y Whitney Zhang, “Experimental Evidence on the
Productivity Effects of Generative Artificial Intelligence”, MIT Economics, 10 de marzo de
2023, economics.mit.edu/sites/default/files/inline-files /Noy_Zhang_1_0.pdf .
IR A NOTA REFERENCIA EN TEXTO

Esto, a su vez, podría afectar la contratación. Sin embargo, el total probable es menor,
pero sigue siendo considerable. Véase James Manyika et al., “Jobs Lost, Jobs Gained: What the
Future of Work Will Mean for Jobs, Skills, and Wages”, McKinsey Global Institute, 28 de
noviembre de 2017, www.mckinsey.com/featured- insights /futuro-del-trabajo/empleos-
perdidos-empleos-ganados-lo-que-significará-el-futuro-del-trabajo-para-los-empleos-
habilidades-y-salarios . Texto exacto: "Estimamos que aproximadamente la mitad de todas
las actividades por las que se paga a las personas en la fuerza laboral mundial podrían
potencialmente automatizarse adaptando las tecnologías actualmente demostradas".
Segunda estadística de Mark Muro et al., “Automation and Artificial Intelligence: How
Machines Are Affecting People and Places”, Metropolitan Policy Program, Brookings, enero
de 2019, www.brookings.edu/ wp-content/uploads/2019 /01/
2019.01_BrookingsMetro_Automation-AI_Report_Muro-Maxim-Whiton-FINAL-version.pdf .
IR A NOTA REFERENCIA EN TEXTO
Los economistas Daron Acemoglu Daron Acemoglu y Pascual Restrepo, “Robots and Jobs:
Evidence from US Labor Markets”, Journal of Political Economy 128, no. 6 (junio de 2020),
www.journals.uchicago.edu/doi/abs/10.1086/705716 .
IR A NOTA REFERENCIA EN TEXTO

Hoy los algoritmos realizan la vasta Ibíd.; Edward Luce, The Retreat of Western Liberalism
(Londres: Little, Brown, 2017), 54. Véase también Justin Baer y Daniel Huang, “Wall Street
Staffing Falls Again”, Wall Street Journal, 19 de febrero de 2015, www.wsj. com/articles/
wall-street-staffing-falls-for-four-consecutive-year-1424366858 ; Ljubica Nedelkoska y
Glenda Quintini, “Automation, Skills Use, and Training”, OCDE, 8 de marzo de 2018,
www.oecd-ilibrary.org/employment/automation-skills-use-and-training_2e2f4eea-en .
IR A NOTA REFERENCIA EN TEXTO

Economistas como David Autor David H. Autor, “¿Por qué todavía hay tantos empleos? La
historia y el futuro de la automatización del lugar de trabajo”, Journal of Economic
Perspectives 29, no. 3 (verano de 2015), www.aeaweb.org/articles?id=10.1257/jep.29.3.3 .
IR A NOTA REFERENCIA EN TEXTO

Comprar ese miedo Esta es la opinión de Azeem Azhar: “Sin embargo, en general, el impacto
duradero de la automatización no será la pérdida de empleos” (Azhar, Exponential, 141).
IR A NOTA REFERENCIA EN TEXTO

Los mercados laborales también tienen una fricción inmensa. Véase Daniel Susskind, A
World Without Work: Technology, Automation and How We Should Respond (Londres: Allen
Lane, 2021), para obtener una explicación detallada de estas fricciones.
IR A NOTA REFERENCIA EN TEXTO

Índice de calidad del empleo del sector privado “Índice de calidad del empleo del sector
privado (JQI) de EE. UU.”, Escuela de Administración de la Universidad de Buffalo, febrero de
2023, ubwp.buffalo.edu/job-quality-index-jqi . Véase también Ford, La regla de los robots .
IR A NOTA REFERENCIA EN TEXTO

Incluso aquellos que no lo prevén. Autor: “¿Por qué todavía hay tantos empleos?”
IR A NOTA REFERENCIA EN TEXTO
CAPÍTULO 11 : EL FUTURO DE LAS NACIONES

A primera vista, estribos blancos, tecnología medieval y cambio social . Sin embargo, esta
versión no es universalmente aceptada. Para una lectura más escéptica de la famosa tesis de
Lynn White, consulte, por ejemplo, “The Great Stirrup Controversy”, The Medieval
Technology Pages, web.archive.org/web/20141009082354/http://scholar.chem.nyu .edu/
tekpages/texts/strpcont.html .
IR A NOTA REFERENCIA EN TEXTO

Este mundo ingobernable “post-soberano” Marrón, Estados amurallados, Soberanía

menguante .
IR A NOTA REFERENCIA EN TEXTO

Sus costumbres, deberes y dividendos William Dalrymple, The Anarchy: The Relentless
Rise of the East India Company (Londres: Bloomsbury, 2020), 233.
IR A NOTA REFERENCIA EN TEXTO

Las organizaciones también son un tipo de inteligencia Richard Danzig me propuso por
primera vez esta idea durante una cena y luego publicó un excelente artículo: “Machines,
Bureaucracies, and Markets as Artificial Intelligences”, Center for Security and Emerging
Technology, enero de 2022, cset.georgetown . .edu/wp-content/uploads/Machines-
Bureaucracies-and-Markets-as-Artificial-Intelligences.pdf .
IR A NOTA REFERENCIA EN TEXTO

Para tener una idea de estas concentraciones, “Global 500”, Fortune, Fortune.com/
global500/ . A octubre de 2022. Las cifras del Banco Mundial sugieren algo más bajas: Banco
Mundial, “PIB (dólares estadounidenses actuales)”, Datos del Banco Mundial,
data.worldbank.org/indicator/ NY.GDP.MKTP.CD.
IR A NOTA REFERENCIA EN TEXTO

Las empresas ya controlan los clusters más grandes Benaich y Hogarth, Informe sobre el
estado de la IA 2022.
IR A NOTA REFERENCIA EN TEXTO

Ya existe un pronunciado James Manyika et al., “Superstars: The Dynamics of Firms,

Sectors, and Cities Leading the Global Economy”, McKinsey Global Institute, 24 de octubre
de 2018, www.mckinsey.com/ featured-insights/ innovación-y-crecimiento/superestrellas-
la-dinámica-de-las-empresas-sectores-y-ciudades-liderando-la-economía-global .
IR A NOTA REFERENCIA EN TEXTO
El noventa por ciento de estas disputas es Colin Rule, “Separating the People from the
Problem”, The Practice, julio de 2020, thepractice.law.harvard.edu/article/separating-the-
people-from-the-problem .
IR A NOTA REFERENCIA EN TEXTO

Producción con costo marginal cero Véase, por ejemplo, Jeremy Rifkin, The Zero Marginal
Cost Society: The Internet of Things, the Collaborative Commons, and the Eclipse of Capitalism
(Nueva York: Palgrave, 2014).
IR A NOTA REFERENCIA EN TEXTO

Es más, los propietarios de los mejores sistemas, Erik Brynjolfsson, llaman a una
situación en la que la IA se apodera cada vez más de la economía, encerrando a un gran
número de personas en un equilibrio en el que no tienen trabajo, riqueza ni poder
significativo, la “trampa de Turing”. .” Erik Brynjolfsson, “La trampa de Turing: la promesa y
el peligro de la inteligencia artificial similar a la humana”, Stanford Digital Economy Lab, 11
de enero de 2022, arxiv.org/pdf/ 2201.04200.pdf .
IR A NOTA REFERENCIA EN TEXTO

No es de extrañar que se hable de ello. Véase, por ejemplo, Joel Kotkin, The Coming of Neo-
feudalism: A Warning to the Global Middle Class (Nueva York: Encounter Books, 2020).
IR A NOTA REFERENCIA EN TEXTO

A pesar de los mejores esfuerzos de los revolucionarios, James C. Scott, Seeing Like a
State: How Ciertos esquemas para mejorar la condición humana han fracasado (New Haven,
Connecticut: Yale University Press, 1998).
IR A NOTA REFERENCIA EN TEXTO

En el camino y durante todo el día “¿Cuántas cámaras CCTV hay en Londres?”, CCTV.co.uk,
18 de noviembre de 2020, www.cctv.co.uk/how-many-cctv-cameras-are -allí-en-londres .
IR A NOTA REFERENCIA EN TEXTO

En comparación con West Benaich y Hogarth, Informe sobre el estado de la IA 2022.

IR A NOTA REFERENCIA EN TEXTO

En 2015, esta fue la inspiración Dave Gershgorn, “El programa 'Sharp Eyes' de China tiene
como objetivo vigilar el 100% del espacio público”, OneZero, 2 de marzo de 2021,
onezero.medium.com/chinas-sharp-eyes-program-aims- para-vigilar-100-del-espacio-
público-ddc22d63e015 .
IR A NOTA REFERENCIA EN TEXTO

Un equipo de investigadores destacados Shu-Ching Jean Chen, “SenseTime: The Faces

Behind China's Artificial Intelligence Unicorn”, Forbes, 7 de marzo de 2018,
www.forbes.com/sites/shuchingjeanchen/2018/03/07 /las-caras-detrás-de-la-tecnología-
de-video-vigilancia-omnisciente-china .
IR A NOTA REFERENCIA EN TEXTO

La policía china incluso tiene gafas de sol Sofia Gallarate, “Los policías chinos son Wearing
Facial Recognition Sunglasses”, Fair Planet, 9 de julio de 2019, www.fairplanet.org/story/
chinese-police-officers-are-wearing-facial-recogni%C2%ADtion-sunglasses .
IR A NOTA REFERENCIA EN TEXTO

Alrededor de la mitad de los mil millones de CCTV del mundo Esta y las siguientes
estadísticas tomadas de una investigación del New York Times : Isabelle Qian et al., “Four
Takeaways from a Times Investigation into China's Expanding Surveillance State”, New York
Times, 21 de junio de 2022, www.nytimes .com/2022/06/21/world/asia/china-
surveillance-investigation.html .
IR A NOTA REFERENCIA EN TEXTO

Este sistema habilitado para IA podría detectar a Ross Andersen, “The Panopticon Is Ya
Here”, Atlantic, septiembre de 2020, www.theatlantic.com/magazine/archive/2020/09/
china-ai-surveillance/ 614197 .
IR A NOTA REFERENCIA EN TEXTO

Las autoridades han construido un escáner de iris de Qian et al., "Cuatro conclusiones de
una investigación del Times sobre el estado de vigilancia en expansión de China".
IR A NOTA REFERENCIA EN TEXTO

En 2019, el gobierno de EE. UU. prohibió la “Sección 889 de la NDAA”, GSA SmartPay,
smartpay.gsa.gov/content/ndaa-section-889 .
IR A NOTA REFERENCIA EN TEXTO

Sin embargo, solo un año después, tres agencias federales Conor Healy, “US Military &
Gov't Break Law, Buy Banned Dahua/Lorex, Congressional Committee Calls for
Investigation”, IPVM, 1 de diciembre de 2019, ipvm.com/reports /usg-lorex .
IR A NOTA REFERENCIA EN TEXTO
Más de cien ciudades de EE. UU. Zack Whittaker, “Las ciudades de EE. UU. están comprando
tecnología de vigilancia china vinculada a abusos uigures”, TechCrunch, 24 de mayo de 2021,
techcrunch.com/2021/05/24/united-states-towns- vigilancia-hikvision-dahua .
IR A NOTA REFERENCIA EN TEXTO

En almacenes inteligentes Joshua Brustein, “Warehouses Are Tracking Workers' Every

Muscle Movement”, Bloomberg, 5 de noviembre de 2019, www.bloomberg.com/news/
articles/2019-11-05/am-i-being -seguidos-en-el-trabajo-muchos-trabajadores-de-
almacén-son .
IR A NOTA REFERENCIA EN TEXTO

Empresas como Vigilant Solutions Kate Crawford, Atlas of AI: Power, Politics, and the
Planetary Costs of Artificial Intelligence (New Haven, Connecticut: Yale University Press,
2021).
IR A NOTA REFERENCIA EN TEXTO

Incluso tu pizza para llevar Joanna Fantozzi, “Domino's utiliza cámaras con inteligencia
artificial para garantizar que las pizzas se cocinen correctamente”, Nation's Restaurants
News, 29 de mayo de 2019, www.nrn.com/quick-service/domino-s-using-ai -cámaras-
garantizan-que-las-pizzas-estén-cocidas-correctamente .
IR A NOTA REFERENCIA EN TEXTO

Antes de la próxima ola Consideremos que una novela actualizada sobre distopías de
vigilancia como The Every de Dave Eggers no se ha movido realmente en términos de qué se
vigila exactamente y se presenta no como ciencia ficción extrema sino como una sátira de la
tecnología contemporánea. compañías.
IR A NOTA REFERENCIA EN TEXTO

Puede que sea el mejor armado. El analista fue el general de brigada (retirado) Assaf Orion
del Instituto de Estudios de Seguridad Nacional de Israel. “The Future of US-Israel Relations
Symposium”, Consejo de Relaciones Exteriores, 2 de diciembre de 2019, www.cfr.org/event/
future-us-israel-relations-symposium , citado en Kali Robinson, “What Is ¿Hezbollah?”,
Consejo de Relaciones Exteriores, 25 de mayo de 2022, www.cfr.org/backgrounder/what-
hezbollah .
IR A NOTA REFERENCIA EN TEXTO

También realiza varios comerciales. Véase, por ejemplo, “Explicado: Cómo Hezbollah
construyó un imperio de las drogas a través de su 'estrategia narcoterrorista'”, Arab News, 3
de mayo de 2021, www.arabnews.com/node/1852636/middle- este .
IR A NOTA REFERENCIA EN TEXTO

En cambio, es una extraña Lina Khatib, “How Hezbollah Holds Sway over the Lebanese
State”, Chatham House, 30 de junio de 2021, www.chathamhouse.org/sites/default/files/
2021-06/2021- 06-30-cómo-hezbollah-mantiene-dominio-sobre-el-estado-libanés-
khatib.pdf .
IR A NOTA REFERENCIA EN TEXTO

Sin embargo, la ola venidera simplemente expandiría enormemente ciertas tendencias

existentes según las cuales, como en la centralización, los actores privados asumen más roles
que tradicionalmente se consideraban exclusivos del Estado. Véase, por ejemplo, Rodney
Bruce Hall y Thomas J. Biersteker, The Emergence of Private Authority in Global Governance
(Cambridge, Reino Unido: Cambridge University Press, 2002).
IR A NOTA REFERENCIA EN TEXTO

Recordemos que solo en la última década “Costos de generación de energía renovable en

2019”, IRENA, junio de 2020, www.irena.org/publications/2020/Jun/Renewable-Power-
Costs-in-2019 .
IR A NOTA REFERENCIA EN TEXTO

Los tecnólogos hiperlibertarios James Dale Davidson y William Rees-Mogg, The Sovereign
Individual: Mastering the Transition to the Information Age (Nueva York: Touchstone, 1997).
IR A NOTA REFERENCIA EN TEXTO

Una hoguera de servicios públicos Peter Thiel, “The Education of a Libertarian”, Cato
Unbound, 13 de abril de 2009, www.cato-unbound.org/2009/04/13/peter-thiel/education-
libertarian . Véase Balaji Srinivasan, The Network State (publicación 1729, 2022), para una
visión más reflexiva sobre cómo las construcciones tecnológicas podrían reemplazar al
Estado-nación.
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 12 : EL DILEMA

La población de Inglaterra Niall Ferguson, Doom: The Politics of Catastrophe (Londres:

Allen Lane, 2021), 131.
IR A NOTA REFERENCIA EN TEXTO

Muertos en la Primera Guerra Mundial Las cifras proceden de ibid.

IR A NOTA REFERENCIA EN TEXTO

Un nuevo virus transmisible entre humanos Las cifras se han extraído de una sesión
informativa confidencial, pero entendemos que los expertos en bioseguridad lo consideran
plausible.
IR A NOTA REFERENCIA EN TEXTO

No es difícil de ver. Es sorprendente que un tercio de los científicos que trabajan en IA crean
que podría conducir a una catástrofe. Jeremy Hsu, “Un tercio de los científicos que trabajan
en IA dicen que podría causar un desastre global”, New Scientist, 22 de septiembre de 2022,
www.newscientist.com/article/2338644-a-third-of-scientists-working- on-ai-say-it-
podría-causar-un-desastre-global .
IR A NOTA REFERENCIA EN TEXTO

Fundada en la década de 1980, Aum Shinrikyo Véase Richard Danzig y Zachary Hosford,
“Aum Shinrikyo—Second Edition—English”, CNAS, 20 de diciembre de 2012,
www.cnas.org/publications/reports/aum-shinrikyo- second -edición-inglés ; y Philipp C.
Bleak, “Revisiting Aum Shinrikyo: New Insights into the Most Extensive Non-state Biological
Weapons Program to Date”, Centro James Martin para Estudios de No Proliferación, 10 de
diciembre de 2011, www.nti.org/analysis / artículos/revisando-aum-shinrikyo-news-
insights-most-extensive-non-state-biological-weapons-program-date-1 .
IR A NOTA REFERENCIA EN TEXTO

En el momento de máxima popularidad de Aum Shinrikyo , Federación de Científicos

Estadounidenses, “The Operation of the Aum”, en Global Proliferation of Weapons of Mass
Destruction: A Case Study of the Aum Shinrikyo, Subcomité Permanente de Investigaciones
de Asuntos Gubernamentales del Senado, 31 de octubre de 1995, irp .fas.org/congress/
1995_rpt/aum/part04.htm .
IR A NOTA REFERENCIA EN TEXTO

Como informe sobre las implicaciones Danzig y Hosford, “Aum Shinrikyo”.

IR A NOTA REFERENCIA EN TEXTO

Algunos inevitablemente dirán Véase, por ejemplo, Nick Bostrom, “The Vulnerable World
Hypothesis”, 6 de septiembre de 2019, nickbostrom.com/papers/vulnerable.pdf , para
conocer quizás la versión más desarrollada de esta tesis. En un experimento mental que
responde a la perspectiva de “armas nucleares fáciles”, imagina un “panóptico de alta
tecnología” donde todos tengan una “etiqueta de libertad”, “llevada alrededor del cuello y
adornada con cámaras y micrófonos multidireccionales”. El vídeo y el audio cifrados se
cargan continuamente desde el dispositivo a la nube y se interpretan automáticamente en
tiempo real. Los algoritmos de IA clasifican las actividades del usuario, los movimientos de
sus manos, los objetos cercanos y otras señales situacionales. Si se detecta actividad
sospechosa, la señal se transmite a una de varias estaciones de monitoreo patriotas”.
IR A NOTA REFERENCIA EN TEXTO

La ola proporciona ambos motivos Martin Bereaja et al., “AI-tocracy”, Quarterly Journal of
Economics, 13 de marzo de 2023, academic.oup.com/qje/advance-article-abstract/doi/
10.1093/ qje/qjad012/7076890 .
IR A NOTA REFERENCIA EN TEXTO

Y en el continuum , Balaji Srinivasan prevé algo muy parecido a este resultado, con Estados
Unidos como zombi y China como demonio: “A medida que Estados Unidos desciende hacia
la anarquía, el PCC señala su sistema funcional, pero muy poco libre, como la única
alternativa, y exporta un versión llave en mano de su estado de vigilancia a otros países como
la próxima versión de Belt and Road, como una pieza de 'infraestructura' que viene completa
con una suscripción SaaS al ojo de IA de China que todo lo ve”. Srinivasan, El Estado Red, 162.
IR A NOTA REFERENCIA EN TEXTO

La filósofa de la tecnología Isis Hazewindus, “The Threat of the Megamachine”, IfThenElse,

21 de noviembre de 2021, www.ifthenelse.eu/blog/the-threat-of-the-megamachine .
IR A NOTA REFERENCIA EN TEXTO

Un estudio de sesenta civilizaciones Michael Shermer, “Why ET Has not Called”, Scientific
American, agosto de 2002, michaelshermer.com/sciam-columns/why-et-hasnt-call .
IR A NOTA REFERENCIA EN TEXTO

Sin nuevas tecnologías Ian Morris, Why the West Rules—for Now: The Patterns of History
and What They Reveal About the Future (Londres: Profile Books, 2010); Tainter, El colapso de
las sociedades complejas; Diamante, colapso .
IR A NOTA REFERENCIA EN TEXTO

Durante el siglo siguiente , Stein Emil Vollset et al., “Fertility, Mortality, Migration, and
Escenarios de población para 195 países y territorios de 2017 a 2100: un análisis de
pronóstico para el estudio de la carga global de enfermedades”, Lancet, 14 de julio de 2020,
www.thelancet.com/article/S0140-6736(20)30677-2 /texto completo .
IR A NOTA REFERENCIA EN TEXTO

Países como Japón y Alemania Peter Zeihan, The End of the World Is Just the Beginning:
Mapping the Collapse of Globalization (Nueva York: Harper Business, 2022).
IR A NOTA REFERENCIA EN TEXTO

China es una parte importante Xiujian Peng, “¿Podría empezar a caer la población de
China?” BBC Future, 6 de junio de 2022, www.bbc.com/future/article/20220531-why-
chinas-population-is-shrinking .
IR A NOTA REFERENCIA EN TEXTO

Todo esto significa Zeihan, El fin del mundo es sólo el comienzo, 203.
IR A NOTA REFERENCIA EN TEXTO

Demanda de litio y cobalto “Climate-Smart Mining: Minerals for Climate Action”, Banco
Mundial, www.worldbank.org/en/topic/extractiveindustries/brief/climate-smart-mining-
minerals-for-climate -acción .
IR A NOTA REFERENCIA EN TEXTO

Dadas las limitaciones de población y recursos Galor, The Journey of Humanity, 130.
IR A NOTA REFERENCIA EN TEXTO

En 1955, hacia el final de su vida , John von Neumann, “¿Podemos sobrevivir a la

tecnología?”, en The Neumann Compendium (River Edge, Nueva Jersey: World Scientific,
1995), geosci.uchicago.edu/~kite/doc/ von_Neumann_1955.pdf .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 13 : LA CONTENCIÓN DEBE SER POSIBLE

¿Cómo explican una edad? David Cahn et al., “AI 2022: The Explosion”, Coatue Venture,
coatue-external.notion.site/AI-2022-The-Explosion-e76afd140f824f2eb6b049c5b85a7877
.
IR A NOTA REFERENCIA EN TEXTO

Como hemos visto, incluso las naciones ricas, “2021 GHS Index Country Profile for United
States”, Índice de seguridad sanitaria global, www.ghsindex.org/country/united-states .
IR A NOTA REFERENCIA EN TEXTO

Sin embargo, un catálogo de decisiones desastrosas Edouard Mathieu et al., “Coronavirus

(COVID-19) Deaths”, Our World in Data, ourworldindata.org/covid-deaths .
IR A NOTA REFERENCIA EN TEXTO
Presupuestos nacionales para tales cosas Por ejemplo, en comparación con la gripe
asiática de 1957, el presupuesto federal de Estados Unidos es mucho mayor, en términos
absolutos, por supuesto, pero también como porcentaje del PIB (16,2 por ciento frente a 20,8
por ciento). En 1957 no existía un Departamento de Salud específico y el precursor del CDC
era todavía una organización relativamente incipiente a los once años de existencia.
Ferguson, Perdición, 234.
IR A NOTA REFERENCIA EN TEXTO

La legislación más ambiciosa “The Artificial Intelligence Act”, Future of Life Institute,
artificialintelligenceact.eu .
IR A NOTA REFERENCIA EN TEXTO

Algunos argumentan que está demasiado centrado. Véase, por ejemplo, “FLI Position
Paper on the EU AI Act”, Future of Life Institute, 4 de agosto de 2021, Futureoflife.org/wp-
content/uploads/2021/08/ Documento-de-posición-de-la-FLI-sobre-la-ley-IA-de-la-
UE.pdf?x72900 ; y David Matthews, “La Ley de Inteligencia Artificial de la UE no es 'a prueba
de futuro', los expertos advierten a los eurodiputados”, Science Business, 22 de marzo de
2022, sciencebusiness.net/news/eu-artificial-intelligence-act-not-futureproof-experts-
warn -meps .
IR A NOTA REFERENCIA EN TEXTO

Algunos creen que permite a la gran tecnología Khari Johnson, “The Fight to Define When
AI Is High Risk”, Wired, 1 de septiembre de 2021, www.wired.com/story/fight-to-define-
when-ai-is -alto riesgo .
IR A NOTA REFERENCIA EN TEXTO

Y, sin embargo, 1,35 millones de personas “Global Road Safety Statistics”, Brake,
www.brake.org.uk/get-involved/take-action/mybrake/knowledge-centre/global-road-
safety# .
IR A NOTA REFERENCIA EN TEXTO

El gobierno publicó Jennifer Conrad, “China Is About to Regulate AI—and the World Is
Watching”, Wired, 22 de febrero de 2022, www.wired.com/story/china-regulate-ai-world-
watching .
IR A NOTA REFERENCIA EN TEXTO

Prohibió proactivamente a varios Christian Smith, “China's Gaming Laws Are Cracking
Down Even Further”, SVG, 15 de marzo de 2022, www.svg.com/799717/chinas-gaming-
laws-are-cracking-down-even-further .
IR A NOTA REFERENCIA EN TEXTO

Proyecto de reglamento de recomendación “Reglamento de la Oficina Nacional de

Información de Internet sobre la administración de recomendaciones de algoritmos de
servicios de información de Internet (borrador para comentarios) Aviso de consulta
pública”, Administración del Ciberespacio de China, 27 de agosto de 2021, www.cac.gov.cn/
2021-08/27/c_1631652502874117.htm .
IR A NOTA REFERENCIA EN TEXTO

No describe cómo los países. Véase, por ejemplo, Alex Engler, “The Limited Global Impact
of the EU AI Act”, Brookings, 14 de junio de 2022, www.brookings.edu.
/blog/techtank/2022/06/14/the-limited-global-impact-of-the-eu-ai-act . Un estudio de
250.000 tratados internacionales sugiere que tienden a no lograr sus fines. Véase Steven J.
Hoffman et al., “Los tratados internacionales han fracasado en su mayoría en producir sus
efectos previstos”, PNAS, 1 de agosto de 2022, www.pnas.org/doi/10.1073/
pnas.2122854119 .
IR A NOTA REFERENCIA EN TEXTO

Nuestros cerebros prehistóricos Véase George Marshall, Don't Even Think About It: Why
Our Brains Are Wired to Ignore Climate Change (Nueva York: Bloomsbury, 2014), para una
elaboración detallada de este punto.
IR A NOTA REFERENCIA EN TEXTO

Tan recientemente como la década de 1970 Rebecca Lindsey, “Climate Change:

Atmospheric Carbon Dioxide”, Climate.gov, 23 de junio de 2022, www.climate.gov/news-
features/understanding-climate/climate-change-atmospheric-carbon -dióxido .
IR A NOTA REFERENCIA EN TEXTO

CAPÍTULO 14 : DIEZ PASOS HACIA LA CONTENCIÓN

Organismo Internacional de Energía Atómica “Estándares de seguridad del OIEA”,

Organismo Internacional de Energía Atómica, www.iaea.org/resources/safety-standards/
search?facility=All&term_node_tid_
Depth_2=All&field_publication_series_info_value=&combine=&items_per_page=100 .
IR A NOTA REFERENCIA EN TEXTO

El principal monitor de armas biológicas Toby Ord, The Precipice: Existential Risk and the
Future of Humanity (Londres: Bloomsbury, 2020), 57.
IR A NOTA REFERENCIA EN TEXTO

El número de investigadores de seguridad de la IA Benaich y Hogarth, Informe sobre el

estado de la IA 2022.
IR A NOTA REFERENCIA EN TEXTO

Dado que hay aproximadamente Para obtener una estimación del número de
investigadores de IA, consulte “¿Qué es el altruismo efectivo?” www. Effectivealtruism.org/
articles/introduction-to- Effective-altruism#fn-15 .
IR A NOTA REFERENCIA EN TEXTO

Las misiones Apolo originales de la NASA, “Benefits from Apollo: Giant Leaps in
Technology”, NASA Facts, julio de 2004, www.nasa.gov/sites/default/files/
80660main_ApolloFS.pdf .
IR A NOTA REFERENCIA EN TEXTO

Dando luz Kevin M. Esvelt, “Delay, Detect, Defend: Preparing for a Future in Which Miles Can
Release New Pandemics”, Centro de Políticas de Seguridad de Ginebra, 14 de noviembre de
2022, dam.gcsp.ch/files / doc/gcsp-geneva-paper-29-22 .
IR A NOTA REFERENCIA EN TEXTO

También se está realizando un gran trabajo Jan Leike, “Alignment Optimism”, Aligned, 5
de diciembre de 2022, alineado.substack.com/p/alignment-optimism .
IR A NOTA REFERENCIA EN TEXTO

El informático Stuart Russell Russell, Human Compatible .

IR A NOTA REFERENCIA EN TEXTO

Esto significa atacar sus sistemas Deep Ganguli et al., “Red Teaming Language Models to
Reduce Harms: Methods, Scaling Behaviors, and Lessons Learned”, arXiv, 22 de noviembre
de 2022, arxiv.org/pdf/ 2209.07858.pdf .
IR A NOTA REFERENCIA EN TEXTO

En el aspecto técnico , Sam R. Bowman et al., “Measuring Progress on Scalable Oversight for
Large Language Models”, arXiv, 11 de noviembre de 2022, arxiv.org/abs/2211.03540 .
IR A NOTA REFERENCIA EN TEXTO
En la actualidad sólo una fracción del Proyecto Security DNA, “Securing Global
Biotechnology”, SecureDNA, www.securedna.org .
IR A NOTA REFERENCIA EN TEXTO

Xi Jinping estaba preocupado por Ben Murphy, “Chokepoints: China's Self-Identified

Strategic Technology Import Dependencies”, Centro de Seguridad y Tecnología Emergente,
mayo de 2022, cset.georgetown.edu/publication/chokepoints .
IR A NOTA REFERENCIA EN TEXTO

De hecho, China gasta más Chris Miller, Chip War: The Fight for the World's Most Critical
Technology (Nueva York: Scribner, 2022).
IR A NOTA REFERENCIA EN TEXTO

Un ejecutivo de tecnología , Demetri Sebastopulo y Kathrin Hille, “US Hits China with
Sweeping Tech Export Controls”, Financial Times, 7 de octubre de 2022, www.ft.com/
content/6825bee4-52a7-4c86-b1aa-31c100708c3e .
IR A NOTA REFERENCIA EN TEXTO

A corto y mediano plazo Gregory C. Allen, “Choking Off China's Access to the Future of AI”,
Centro de Estudios Estratégicos e Internacionales, 11 de octubre de 2022, www.csis.org/
analysis/ choking-chinas- acceso-futuro-ai .
IR A NOTA REFERENCIA EN TEXTO

Si se necesitan cientos de miles de millones Julie Zhu, “China Readying $143 Billion
Package for Its Chip Firms in Face of US Curbs”, Reuters, 14 de diciembre de 2022,
www.reuters.com/technology/china-plans-over- 143 mil millones de chips nacionales de
impulso-impulso-compiten-con-nosotros-fuentes-2022-12-13 .
IR A NOTA REFERENCIA EN TEXTO

NVIDIA, el fabricante estadounidense Stephen Nellis y Jane Lee, “Nvidia Tweaks Flagship
H100 Chip for Export to China as H800”, Reuters, 22 de marzo de 2023, www.reuters.com/
technology/nvidia-tweaks-flagship-h100- exportación-de-chips-china -h800-2023-03-21 .
IR A NOTA REFERENCIA EN TEXTO

Las máquinas de ASML Además, no sólo las máquinas, sino también muchos componentes
tienen un solo fabricante, como los láseres de alta gama de Cymer o los espejos de Zeiss, tan
puros que, si fueran del tamaño de Alemania, una irregularidad tendría sólo unos pocos
milímetros de ancho.
IR A NOTA REFERENCIA EN TEXTO

Estas tres empresas tienen Véase, por ejemplo, Michael Filler en Twitter, 25 de mayo de
2022, twitter.com/michaelfiller/status/1529633698961833984 .
IR A NOTA REFERENCIA EN TEXTO

Una crisis de tierras raras “¿Dónde está el mayor riesgo para nuestros suministros de
recursos minerales?”, USGS, 21 de febrero de 2020, www.usgs.gov/news/national-news-
release/new-methodology-identifies -productos-minerales-¿cuya-interrupción-del-
suministro?qt-news_science_products=1#qt-news_science_products .
IR A NOTA REFERENCIA EN TEXTO

Alrededor del 80 por ciento del cuarzo de alta calidad Zeihan, El fin del mundo es sólo el
comienzo, 314.
IR A NOTA REFERENCIA EN TEXTO

De hecho, a veces critica estridentemente a Lee Vinsel, “You're Doing It Wrong: Notes on
Criticism and Technology Hype”, Medium, 1 de febrero de 2021, sts-news.medium.com/
youre-doing-it-wrong- notas-sobre-crítica-y-tecnología-hype-18b08b4307e5 .
IR A NOTA REFERENCIA EN TEXTO

Es prometedor la investigación sobre la IA ética: Inteligencia artificial centrada en las

personas de la Universidad de Stanford, Informe del índice de inteligencia artificial 2021.
IR A NOTA REFERENCIA EN TEXTO

Grandes déficits Por ejemplo, Shannon Vallor, “Mobilising the Intellectual Resources of the
Arts and Humanities”, Instituto Ada Lovelace, 25 de junio de 2021,
www.adalovelaceinstitute.org/blog/mobilising-intellectual-resources-arts-humanities .
IR A NOTA REFERENCIA EN TEXTO

Formando una coalición Kay C. James en Twitter, 20 de marzo de 2019, twitter.com/

KayColesJames/status/1108365238779498497 .
IR A NOTA REFERENCIA EN TEXTO

Hay muchas posibilidades de que las empresas B 'van más allá' de lo habitual, sean
positivas”, B Lab, 1 de marzo de 2023, www.bcorporation.net/en-us/news/press/b-corps-
go- más allá-de-negocios-como-de-habitual-para-b-corp-mes-2023 .
IR A NOTA REFERENCIA EN TEXTO
Aunque hoy las empresas tienen “Financiamiento y desempeño de la investigación y el
desarrollo de EE. UU.: hoja informativa”, Servicio de Investigación del Congreso, 13 de
septiembre de 2022, sgp.fas.org/crs/misc/R44307.pdf .
IR A NOTA REFERENCIA EN TEXTO

Invertir en ciencia y tecnología Véase, por ejemplo, Mariana Mazzucato, The

Entrepreneurial State: Debunking Public vs. Private Sector Myths (Londres: Anthem Press,
2013).
IR A NOTA REFERENCIA EN TEXTO

Su primera tarea debería ser Estos puntos están bien expuestos en Jess Whittlestone y Jack
Clark, “Why and How Governments Should Monitor AI Development”, arXiv, 31 de agosto de
2021, arxiv.org/pdf/2108.12427.pdf .
IR A NOTA REFERENCIA EN TEXTO

En 2015 hubo prácticamente “Legislación relacionada con la inteligencia artificial”,

Conferencia Nacional de Legislaturas Estatales, 26 de agosto de 2022, www.ncsl.org/
research/telecommunications-and-information-technology/2020-legislation- related- a-
inteligencia-artificial.aspx .
IR A NOTA REFERENCIA EN TEXTO

Observatorio de Políticas de IA de la OCDE , “National AI Policies & Strategies”,

Observatorio de Políticas de IA de la OCDE, oecd.ai/en/dashboards/overview .
IR A NOTA REFERENCIA EN TEXTO

En 2022, la Casa Blanca publicó la “Hoja informativa: La administración Biden-Harris

anuncia acciones clave para promover la responsabilidad tecnológica y proteger los
derechos del público estadounidense”, Casa Blanca, 4 de octubre de 2022,
www.whitehouse.gov/ostp / actualizaciones de noticias/2022/10/04/hoja informativa-la-
administración-biden-harris-anuncio-acciones-clave-para-promover-la-responsabilidad-
tecnológica-y-proteger-los-derechos-de-la- público americano .
IR A NOTA REFERENCIA EN TEXTO

Hoy en día, la mano de obra estadounidense está sujeta a impuestos Daron Acemoglu
et al., “Taxes, Automation, and the Future of Labor”, MIT Work of the Future,
mitsloan.mit.edu/shared/ods/documents?PublicationDocumentID=7929 .
IR A NOTA REFERENCIA EN TEXTO
Esto a veces se llama Arnaud Costinot e Ivan Werning, “Robots, Trade, and Luddism: A
Sufficient Statistic Approach to Optimal Technology Regulator”, Review of Economic Studies,
4 de noviembre de 2022, academic.oup.com/restud/advance -artículo/doi/10.1093/
restud/rdac076/6798670 .
IR A NOTA REFERENCIA EN TEXTO

Los economistas del MIT han argumentado que Daron Acemoglu et al., “¿Does the US Tax
Code Favor Automation?”, Brookings Papers on Economic Activity (primavera de 2020),
www.brookings.edu/wp-content/uploads/2020/12 /Acemoglu-FINAL-WEB.pdf .
IR A NOTA REFERENCIA EN TEXTO

En una era de hiperescala Sam Altman, "La ley de Moore para todo", Sam Altman, 16 de
marzo de 2021, moores.samaltman.com .
IR A NOTA REFERENCIA EN TEXTO

Uso de armas láser cegadoras “La Convención sobre Ciertas Armas Convencionales”,
Naciones Unidas, www.un.org/disarmament/the-convention-on-certain-conventional-
weapons .
IR A NOTA REFERENCIA EN TEXTO

Un estudio de 106 países Françoise Baylis et al., “Human Germline and Heritable Genome
Editing: The Global Policy Landscape”, CRISPR Journal, 20 de octubre de 2020,
www.liebertpub.com/doi/10.1089/crispr.2020.0082 .
IR A NOTA REFERENCIA EN TEXTO

A raíz del primer Eric S. Lander et al., “Adopt a Moratorium on Heritable Genome Editing”,
Nature, 13 de marzo de 2019, www.nature.com/articles/d41586-019-00726-5 .
IR A NOTA REFERENCIA EN TEXTO

A principios de la década de 2010 , Peter Dizikes, “Study: Commercial Air Travel Is Safer
Than Ever”, MIT News, 23 de enero de 2020, news.mit.edu/2020/study-commercial-flights-
safer-ever-0124 .
IR A NOTA REFERENCIA EN TEXTO

Nos volvimos a encontrar en 2017 “AI Principios”, Future of Life Institute, 11 de agosto de
2017, Futureoflife.org/open-letter/ai-principles .
IR A NOTA REFERENCIA EN TEXTO
Responsabilidad social y moral Joseph Rotblat, “A Hippocratic Oath for Scientists”, Science,
19 de noviembre de 1999, www.science.org/doi/10.1126/science.286.5444.1475 .
IR A NOTA REFERENCIA EN TEXTO

porque nosotros construir tecnología Véanse, por ejemplo, las propuestas de Rich Sutton,
“Creating Human-Level AI: How and When?”, Universidad de Alberta, Canadá,
Futureoflife.org/data/PDF/rich_sutton.pdf?x72900 ; Azeem Azhar, “Somos nosotros
quienes decidimos lo que queremos a partir de las herramientas que construimos” (Azhar,
Exponential, 253); o Kai-Fu Lee, “No seremos espectadores pasivos en la historia de la IA;
somos sus autores” (Kai-Fu Lee y Qiufan Cheng, AI 2041: Ten Visions for Our Future [Londres:
WH Allen, 2021 , 437]).
IR A NOTA REFERENCIA EN TEXTO

Comunicación en torno a la IA Patrick O'Shea et al., “Communicating About the Social

Implications of AI: A FrameWorks Strategic Brief”, FrameWorks Institute, 19 de octubre de
2021, www.frameworksinstitute.org/ publication/communicating-about-the -
implicaciones-sociales-de-ai-un-marco-estratégico-resumen .
IR A NOTA REFERENCIA EN TEXTO

La investigación muestra que cuando Stefan Schubert et al., “The Psychology of Existential
Risk: Moral Judgments About Human Extinction”, Nature Scientific Reports, 21 de octubre de
2019, www.nature.com/articles/s41598-019-50145- 9 .
IR A NOTA REFERENCIA EN TEXTO

Mientras tanto, las asambleas ciudadanas ofrecen a Aviv Ovadya, “Towards Platform
Democracy”, Harvard Kennedy School Belfer Center, 18 de octubre de 2021,
www.belfercenter.org/publication/towards-platform-democracy-policymaking-beyond-
corporate-ceos- y-presion-partidista .
IR A NOTA REFERENCIA EN TEXTO

Haciendo referencia a los principios de Asilomar “Pausar experimentos gigantes de IA:

una carta abierta”, Future of Life Institute, 29 de marzo de 2023, Futureoflife.org/open-
letter/pause-giant-ai-experiments .
IR A NOTA REFERENCIA EN TEXTO

Una queja contra el LLM Adi Robertson, “La FTC debería impedir que OpenAI lanzara
nuevos modelos GPT, dice AI Policy Group”, The Verge, 30 de marzo de 2023,
www.theverge.com/2023/3/30/23662101/ ftc-openai-solicitud-de-investigación-caidp-
gpt-sesgo-de-generación-de-texto .
IR A NOTA REFERENCIA EN TEXTO

Un buen ejemplo es el de Esvelt, “Delay, Detect, Defend”. Para ver otro ejemplo de un
enfoque holístico de la estrategia de contención, consulte Allison Duettmann, “Defend
Against Physical Threats: Multipolar Active Shields”, Foresight Institute, 14 de febrero de
2022, foresightinstitute.substack.com/p/defend- physical .
IR A NOTA REFERENCIA EN TEXTO

El economista Daron Acemoglu Daron Acemoglu y James Robinson, The Narrow Corridor:
How Nations Struggle for Liberty (Londres: Viking, 2019).
IR A NOTA REFERENCIA EN TEXTO

LA VIDA DESPUÉS DEL ANTROPOCENO

La tecnología debería amplificar Véase, por ejemplo, argumentos como el de Divya

Siddarth et al., “How AI Fails Us”, Centro de Ética Edmond y Lily Safra, 1 de diciembre de
2021,ethics.harvard.edu/how- ai- nos falla .
IR A NOTA REFERENCIA EN TEXTO
 ÍNDICE

Los números de página de este índice se refieren a la versión impresa del libro. Cada enlace
lo llevará al comienzo de la página de impresión correspondiente. Es posible que tengas
que desplazarte hacia adelante desde esa ubicación para encontrar la referencia
correspondiente en tu lector electrónico.

A B C D mi F GRAMO h I j k l METRO norte oh PAG q R S t Ud. V W. X Y z

A
Aadhaar, 126

academia, 128

accesibilidad de las nuevas tecnologías

IA, 69

descentralización y, 198

desmaterialización y, 190

ingeniería genética, 82–83

aplicaciones militares y, 106 , 126

poder y, 163–64 , 198 , 199

Acemoglu, Darón, 179 , 276 , 278

Informe Acheson-Lilienthal, 42

fabricación aditiva. Ver Impresión 3d

Aerorozvidka, 103-4

agricultura

desafíos de, 136–37

cambio climático y, 138

como tecnología de propósito general, 27

afán de lucro y, 133

robótica y, 93–94

como ola tecnológica, 28

Ley de IA (UE), 229 , 260

Base de datos de incidentes de IA, 246

espacios de aire, 241

aerolíneas, 267–68

AlexNet, 58–59

algoritmos, 63 , 114 , 247

Alibaba, 66 años.

Allison, Graham, 123

Alfabeto, 128 , 256 , 257

AlfaFold, 89–90 , 109

AlfaGo, 53–54 , 113 , 117–19 , 120

Alfacero, 54

alternativas, 234
Laboratorios Altos, 85

Amazonas, 94–95 , 189

Anduril, 166

ántrax, 174

tecnologías anti-envejecimiento. Ver tecnologías de longevidad

antibióticos, 36

manzana, 187 , 189

Arjipov, Vasili, 44 años

Retórica de la carrera armamentista, 124–25 , 126–27

Arnoldo, Frances, 87

Arturo, W. Brian, 56

inteligencia artificial capaz (ACI), vii , 77–78 , 115 , 164 , 210

inteligencia artificial general (AGI)

escenarios de catástrofe y, 209 , 210

chatbots y, 114

Fundación DeepMind y, 8

definido, vii , 51

problema de gorilas y, 115-16

naturaleza gradual de, 75

superinteligencia y, 75 , 77 , 78 , 115

aún por venir, 73–74

inteligencia artificial (IA)

aspiraciones de, 7–8

autonomía y, 114 , 115

como base de la ola que viene, 55

beneficios de, 10–11

escenarios de catástrofe y, 208 , 209-11

chatbots, 64 , 68 , 70 , 113–14

Desarrollo chino de, 120–21

puntos de estrangulamiento en, 251

cambio climático y, 139

conciencia y, 74 , 75

contradicciones y, 202

costos de, 64 , 68

solicitudes actuales, 61–62

capacidades actuales de, 8–9

ciberataques y, 162–63 , 166–67

definido, vii

primeros experimentos en, 51–54

eficiencia de, 68–69

ego y, 140

ética y, 254

explicación y, 243

futuro de, 78

ubicuidad futura de, 284–85

alcance global de, 9–10

problema de alucinaciones y, 243

cerebro humano como objetivo fijo, 67–68

hiperevolución y, 109

invisibilidad de, 73

limitaciones de, 73

aplicaciones médicas, 110

aplicaciones militares, 104 , 165

Prueba de Turing moderna, 76–77 , 78 , 115 , 190 , 210

naturaleza estrecha de, 73–74

capacidades a corto plazo, 77

tecnología omniuso y, 111 , 130

imperativo de apertura y, 128–29

potencial de, 56 , 70 , 135

como prioridad, 60

afán de lucro y, 134 , 135 , 136

proliferación de, 68–69

estructura de proteínas y, 88–89

equipo rojo y, 246

intentos de regulación, 229 , 260–61

imprevisibilidad de la investigación y, 130

robótica y, 95 , 96 , 98

seguridad y, 241 , 243–44

hipótesis de escala, 67–68 , 74

cultura autocrítica y, 270

 afirmaciones de sensibilidad, 72 , 75

escepticismo sobre, 72 , 179

vigilancia y, 193–94 , 195 , 196

biología sintética y, 89–90 , 109

desempleo tecnológico y, 177–81

Prueba de Turing, 75

Ver también ola que viene ; aprendizaje profundo ; aprendizaje automático

arXiv, 129

Principios de Asilomar, 269–70 , 272–73

ASML, 251

impacto asimétrico, 105–7 , 234

Atlántida, 5

Programa Atmanirbhar Bharat (India), 125–26

atención, 63

mapas de atención, 63

auditorías, 245–48 , 267

Aum Shinrikyo, 212-13 , 214

autoritarismo, 153 , 158–59 , 191–96 , 216–17

autocompletar, 63

descubrimiento automatizado de fármacos, 110

automatización, 177–81

autonomía, 105 , 113–15 , 166 , 234

Autor, David, 179

al-Awlaki, Anwar, 171

B
propagación hacia atrás, 59

empoderamiento del mal actor, 165–66 , 208 , 266

Ver también terrorismo

Cuerpo B, 258

Campana, Alexander Graham, 31

Benz, Carl, 24 , 285

Berg, Pablo, 269–70

Grupo BGI, 122

sesgo, 69–70 , 239–40

Bioforja, 86

Convención sobre armas biológicas, 241 , 263

biotecnología. Ver Biología sintética

Peste Negra, 205

Parque Bletchley, 32

libros, 30

Boyer, Herbert W., 80

Fugarse, 51–52 , 113

Brin, Sergey, 53 años

Compañía Británica de las Indias Orientales, 186 , 189

Marrón, David, 98

Marrón, Wendy, 185

C
“¿Podemos sobrevivir a la tecnología” (Neumann), 221

gastos de capital, 134

Carey, Nessa, 82

curva de Carlson, 81

carros. Ver vehículos

Cartwright, Edmundo, 282

Cas9, 81

catástrofe, 205-14

contención y, 211–12 , 214

escenarios para, 207–9

escepticismo sobre, 206–7

estancamiento como, 217–21

distopía de vigilancia como, 215-17

Caulobacter etensis-2.0, 84

violonchelo, 109

CFC, 45 , 46 , 263

Carlos Martel, 183–84

Charpentier, Emmanuelle, 81 , 265

chatbots, 64 , 68 , 70 , 113–14

ChatGPT, 62 , 65

armas químicas, 46 , 110

química, 98–99
Chernóbil, 45

ajedrez, 53

Porcelana

geopolítica y, 120–24

intentos históricos de contención por, 39–40

cooperación internacional y, 265–66

maoísmo, 192

regulación y, 231

seda y, 41

vigilancia, 193–95

Controles de exportación de Estados Unidos y, 249–50

chinchilla, 68 años

papas fritas

puntos de estrangulamiento y, 249–51

hiperevolución y, 32–33 , 57 , 81 , 108

tamaño de, 67

Ver también semiconductores

clorofluorocarbonos (CFC), 35

CICERON, 167

cambio climático

intentos de contención, 45 , 46 , 263

como desafío global, 137–39

 comprensión popular de, 236

consecuencias no deseadas de la tecnología y, 35

relojes, 157

computación en la nube, 251

Paseo por la nube, 194

Cohen, Stanley N., 80

Guerra Fría

contención y, 37

cooperación internacional y, 263 , 264

armas nucleares y, 42

Sputnik y, 119-20 , 126

ola que viene

IA activada, 3–4

Interactividad IA-biología sintética y, 88–91

autonomía y, 105 , 113–15

evitación de, 12-14

beneficios de, 10 , 11 , 16 , 283

definido, vii , 7

El ego como conductor de, 139-41.

desafíos globales y, 137–40

idealismo y, 150–51

inevitabilidad de, 142–43 , 214 , 225

naturaleza interrelacionada de, 56–57

comprensión popular de, 234–36

 posibles respuestas, 11

poder y, 102 , 163–64

afán de lucro y, 131–36

imprevisibilidad de la investigación y, 129–30

escepticismo sobre, 57–58 , 72 , 102 , 179 , 206–7

penumbra tecnológica de, 92–93

Ver también accesibilidad de nuevas tecnologías ; incentivos para la próxima ola ;

tecnología omniuso

incentivos de la próxima ola, 119 , 141

contención y, 250

geopolítica, 119–27

desafíos globales, 137–40 , 219

imperativo de apertura, 127–29

afán de lucro, 131–36 , 254–58

regulación y, 231–32

características de la tecnología de olas venideras

impacto asimétrico, 105–7 , 234

autonomía, 105 , 113–15 , 166 , 234

contención y, 234–35

Ver también hiperevolución ; tecnología omniuso

visión por computadora, 58–60

informática, 32–34

desmaterialización y, 55 , 190

hiperevolución de, 108

procesos de fabricación y, 84
 Computación cuántica, 97–99 , 109 , 114 , 122.

Controles de exportación de Estados Unidos y, 249–50

Consorcio, 84

contención

auditorías y, 245–48 , 267

inicios de, 272–73

catástrofe y, 211–12 , 214

puntos de estrangulamiento y, 249–51

coherencia y, 275

críticos y, 252–54

definido, vii , 37-38

elementos de, 232–33

problema de gorilas y, 115-16

funciones gubernamentales, 258–63

intentos históricos, 38–41 , 42–43 , 119

Revolución industrial y, 39 , 40 , 281–82

enfoque integrado para, 228–29

cooperación internacional y, 263–67

responsabilidad de los fabricantes, 252

como corredor estrecho, 276–78

necesidad de, 16 , 18–19 , 46 , 48 , 285–86

interruptores de apagado y, 244–45

tecnología omniuso y, 111

limitaciones organizativas y, 228

 descripción general, 274–75

patógenos y, 273–74

movimientos populares y, 271–72

posibilidad de, 278–79

afán de lucro y, 254–58

computación cuántica y, 98

riesgos en, 43–45

seguridad y, 239–43

cultura autocrítica y, 267–70

estancamiento como método para, 217-21

vigilancia como método para, 206 , 215-17

características de la tecnología y, 233–35

Ver también regulación como método de contención

problema de contención, vii

Ver también contención

Convención sobre Ciertas Armas Convencionales, 263

copiloto, 69

corporaciones

Compañía Británica de las Indias Orientales, 186 , 189

poder concentrado y, 187–88 , 190–91

contención y, 255 , 258

desmaterialización y, 189–90

inteligencia y, 186–87

beneficio público, 258

 papel en la próxima ola, 134–35

impuestos y, 262

Laboratorios corticales, 91

costos. Ver El costo de la tecnología disminuye.

Pandemia de COVID-19

desinformación/desinformación y, 172

investigación de ganancia de función (GOF) y, 176

limitaciones organizativas y, 228

vigilancia y, 194 , 195 , 215

Craspasa, 82

Crick, Francisco, 80 años

Edición de genes CRISPR, 81–82 , 86 , 129–30

IA críticas, 244

Evaluación crítica para la predicción de estructuras (CASP), 89 , 90

Cronin, Audrey Kurth, 106 , 127

ballesta, 39 , 40

criptografía, 98 , 244 , 248 , 266

Crisis de los misiles cubanos, 44

Cugnot, Nicolas-Joseph, 23

cultos, 212-13

cultura, 267–70

ciberataques, 160–63 , 166–67

D
Daimler, Gottlieb, 24 años

datos, proliferación de, 33

descentralización, 198–99

Azul profundo, 53

falsificaciones profundas, 169–71 , 172

aprendizaje profundo

autonomía y, 113

visión por computadora y, 58–60

limitaciones de, 73

potencial de, 61–62

estructura de proteínas y, 89–90

supervisado, 65

biología sintética y, 90–91

Ver también aprendizaje automático

Mente profunda

AGI como objetivo de, 8 , 51

retórica de la carrera armamentista y, 124

puntos de estrangulamiento y, 251

contención y, 254 , 255–56

Algoritmo DQN, 51–52 , 113

eficiencia y, 68
 fundación de, 8 , 9

Compra de Google de, 60 , 255–57

imperativo de apertura y, 128

aplicaciones prácticas y, 61

estructura de proteínas y, 89–90

Ver también AlfaGo

Deere, Juan, 93

delta, 104

demanda, 25 , 30 , 31 , 40 , 41 , 132–33

desmaterialización, 55–56 , 189–90 , 233

crisis demográfica, 219–20

difusión, 30-31

dilema, el, definido, vii

Diplomacia, 167

desinformación/desinformación, 167 , 169–73 , 208

DJI, 106

perfil de ADN, 81

Guión de ADN, 83

Sintetizadores de ADN, 12-13

Doudna, Jennifer, 81 años

DQN (Red Q profunda), 51–52 , 113

drones, 103–4 , 105 , 106 , 166 , 207

Tecnología de doble uso. Ver tecnología omniuso

distopía, 215-17
mi
Alemania del Este, 192

eBay, 188–89

desigualdad económica, 153–54

Edison, Tomás, 35

ego, 140–41

electricidad, 30–31

EleutherAI, 68–69

Isabel I (reina de Inglaterra), 39 , 40

Endy, Drew, 84

energía, 99–101 , 198

motores, 23-25

ENIAC, 32 años.

síntesis enzimática, 83 , 109

Epopeya de Gilgamesh, 5

Esvelt, Kevin, 273

Azul eterno, 161–62

limpieza étnica, 195

ETH Zúrich, 84

Unión Europea, 125 , 229 , 260

evolución, 26-27 , 79 , 84

explicación, 243

explosivos, 35 , 110
 Exciencia, 110

F
Facebook, 150 , 172 , 258

software de reconocimiento facial, 194 , 207

Fakhrizadeh, Mohsen, 165

feudalismo, 184

Feynman, Ricardo, 259

fuego, 26–27

Mitos sobre las inundaciones, 5

lanzadera voladora, 39

Ford, Enrique, 24

Compañía de motores Ford, 98

cuatro características, definidas, vii

Amplificadores de fragilidad. Ver amplificadores de fragilidad del estado nación

fragmentación. Ver descentralización

Franklin, Rosalinda, 80

fase de frenesí, 132

poder de fusión, 100

GRAMO
investigación de ganancia de función (GOF), 175–77

gato, 111

edición de genes

contención y, 46 , 265

Tecnología CRISPR y, 81–82 , 86 , 129–30

cuestiones éticas, 86

Genetech, 80

tecnologías de propósito general

como aceleradores, 92

contención y, 233

concentración corporativa y, 190–91

definido, 26

motor de combustión interna como, 25 , 26

invisibilidad de, 27

omniuso y, 111

IA generativa, 69 , 73

Ver también grandes modelos de lenguaje

síntesis de genes, 83–84 , 247–48

organismos genéticamente modificados (OGM), 45 , 46 , 231

Ingeniería genética

accesibilidad y, 82–83

autonomía y, 114

contención y, 46 , 265 , 269–70

 secuenciación del genoma, 80–81 , 114

orígenes de, 80

Ver también edición de genes ; Biología sintética

genética, 55

Ver también Biología sintética

Gengis Khan, 205

secuenciación del genoma, 80–81

geopolítica

AlphaGo y, 117–19 , 120

retórica de la carrera armamentista y, 124–25 , 126–27

China y, 120–24

como incentivo de ola venidera, 119-27

contención y, 234

Unión Europea y, 125

India y, 125–26

cooperación internacional y, 263–67

mundo post-soberano y, 192

Sputnik y, 119-20

edición de línea germinal, 265

GitHub, 128–29

Gladstone, Guillermo, 131

desafíos globales, 137–40 , 219

globalización, 107 , 155–56

calentamiento global. Ver cambio climático

Vaya, 53–54 , 113 , 117–19 , 120

Google

poder corporativo de, 187

Compra de DeepMind, 60 , 255–57

eficiencia y, 68

LaMDA y, 71 , 72

modelos de lenguaje grandes y, 66

Computación cuántica y, 97–98 , 122.

robótica y, 95

en transformadores, 64

Google Académico, 128

Tuza, 68

problema de gorilas, 115-16

gobiernos

contención y, 258–63

limitaciones organizativas de, 148–50

Ver también Estados nacionales

GPS (Sistema de Posicionamiento Global), 110

GPT-2, 64 , 70

GPT-3, 64 , 68

GPT-4, 64 , 113-14

GPU, 130 , 251

gran ganga, definido, viii

Gran Bretaña
 corporaciones y, 186 , 189

vigilancia, 193 , 195–96

competencia entre grandes potencias. Ver geopolítica

Gutenberg, Johannes, 30 , 35

h
Gripe H1N1, 173–74

problema de alucinaciones, 243

Instituto Harvard Wyss, 95

Hassabis, Demis, 8

cuidado de la salud. Ver Aplicaciones médicas

Henrich, José, 28

Fundación del Patrimonio, 257

Hershberg, Elliot, 87

Hezbolá, 196-197

Hidalgo, César, 108

planificación jerárquica, 76–77

Hinton, Geoffrey, 59 , 60 , 130

Bombardeos de Hiroshima/Nagasaki, 41–42

Hobbes, Tomás, 216

Homo tecnológico, 6

Abrazando la cara, 199

 Proyecto Genoma Humano, 80–81

Huskisson, William, 131

Hutchins, Marco, 161

hiperevolución, 105 , 107-9

fichas y, 32–33 , 57 , 81 , 108

contención y, 250

modelos de lenguaje grandes y, 66 , 68

I
India, 125–26 , 169–70

Revolución industrial

intentos de contención, 39 , 40 , 281–83

imperativo de apertura y, 127

afán de lucro y, 133 , 134

ondas tecnológicas y, 28–29

confinamiento inercial, 100

Inflexión AI, 66 , 68 , 243 , 244

información

desmaterialización y, 55–56

ADN como, 79 , 87–88

Instituto de Ingenieros Eléctricos y Electrónicos, 241

circuito integrado, 32
 inteligencia

acción y, 75–76

corporaciones y, 186–87

valor económico de, 136

problema de gorilas, 115-16

predicción y, 62

Ver también inteligencia artificial

interconexión, 28

Panel Intergubernamental sobre Cambio Climático, 138–39

motor de combustión interna, 24–25 , 26 , 35–36

Organismo Internacional de Energía Atómica, 241

cooperación internacional, 263–67

Internet, 33 , 107–8 , 202

iPhone, 187

Irán, 165

Israel, 165

j
James, Kay Coles, 257

Japón, intentos de contención, 39 , 40

empleos, impacto de la tecnología en, 177–81 , 261 , 262

Toro europeo conjunto, 100

k
Kasparov, Garry ,

Kay, Juan, 39

Ke Jie , 118-19 ,

Kennan, George F., 37 años

Keynes, John Maynard, 178

Khan, AQ ,

Jruschov, Nikita, 126

Kilobots, 95

Klausner, Richard, 85 años

Krizhevsky, Alex, 59 años

Kurzweil, Ray, 57 años

l
fugas de laboratorio, 173–75 , 176

mercados laborales, 177–81 , 261 , 262 , 282

LaMDA, 71–72 , 75

Lander, Eric, 265

idioma, 27 , 157

Ver también grandes modelos de lenguaje

LanzaTech, 87
modelos de lenguaje grandes (LLM), 62–65

sesgo en, 69–70 , 239–40

capacidades de, 64–65

deepfakes y, 170

eficiencia de, 68

código abierto y, 69

escala de, 65–66

biología sintética y, 91

armas láser, 263

aplicación de la ley, 97–98

Líbano, 196–97

LeCun, Yann, 130

Lee Sedol, 53–54 , 117

Legg, Shane, 8

legislación, 260

Ver también regulación como método de contención

Lemoine, Blake, 71–72

Lenoir, Jean Joseph Étienne, 23

Li, Fei-Fei, 59 años

libertarismo, 201

Biblioteca de Alejandría, 41

licencia, 261

producción de litio, 109

sistema LLaMA, 69
 Fundición de ADN de Londres, 83

tecnologías de longevidad, 85–86

Luditas, 39 , 40 , 281–83

METRO
aprendizaje automático

autonomía y, 113

sesgo en, 69–70 , 239–40

visión por computadora y, 58–60

ciberataques y, 162–63 , 166–67

limitaciones de, 73

aplicaciones médicas, 110

aplicaciones militares y, 103–5

potencial de, 61–62

estructura de proteínas y, 89–90

robótica y, 95

aprendizaje profundo supervisado, 65

biología sintética y, 90–91

Ver también aprendizaje profundo

Macron, Emanuel, 125

Malthus, Tomás, 136

Proyecto Manhattan, 41 , 124 , 126 , 141 , 270

maoísmo, 192

Mao Zedong, 194

Marcos, Gary, 73

Maybach, Guillermo, 24

McCarthy, John, 73 años

McCormick, Ciro, 133

aplicaciones médicas, 85 , 95 , 110

megamáquina, 217

Megvii, 194

Meta, 69 , 128 , 167

Micio, 122

Microsoft, 69 , 98 , 128 , 160–61

aplicaciones militares

AI y, 104 , 165

asimetría y, 106

aprendizaje automático y, 103–5

amplificadores de fragilidad del estado nación y, 167–69

tecnología omniuso y, 110–11

robótica y, 165–66

Minsky, Marvin, 58 , 130

desinformación. Ver desinformación/desinformación

Mitchell, Melanie, 73 años.

Modelo T, 24

Prueba de Turing moderna, 76–77 , 78 , 115 , 190 , 210

 Mojica, Francisco, 129–30

Protocolo de Montreal (1987), 45 , 263

Moore, Gordon, 32-33 , 35

Ley de Moore, 32–33 , 67 , 81 , 108

Coche, 24

Mumford, Lewis, 29 , 217

destrucción mutua asegurada, 43

norte
nanotecnología, 101

camino estrecho, definido, viii

Laboratorio Nacional de Ciencias de la Información Cuántica (China), 122

amplificadores de fragilidad del estado-nación, vii , 11

AI y, 166–67

autoritarismo y, 158–59

empoderamiento del mal actor y, 165–66 , 168

ciberataques y, 160–63

democracias y, 158 , 185

desinformación y, 169–73

fragilidad y, 152–54

globalización y, 155–56

inadvertido, 173–77
 aplicaciones militares y, 167–69

poder y, 163–64

desempleo tecnológico y, 177–81

Estados nacionales

contención y, 143 , 159

desigualdad económica y, 153–54

equilibrio de, 147

funciones de, 158

importancia de, 151–52

regulación y, 230–31

simbiosis tecnológica con, 156–58

confianza y, 152–53

Ver también geopolítica ; gobiernos ; amplificadores de fragilidad del estado

nación

Neuralink, 91

redes neuronales, 59 , 64

Ver también aprendizaje profundo

1984 (Orwell), 196

Nobel, Alfredo, 35 años

Nordhaus, William, 30-31

Corea del Norte, 44 , 161

NoPetya, 161–62 , 163

Noyce, Robert, 32 años

tecnología nuclear

retórica de la carrera armamentista y, 126

 catástrofe y, 205

contención de, 42–45 , 264–65

desarrollo de, 41–42

ego y, 141

seguridad y, 241

NVIDIA, 130 , 250 , 251

oh
Odín, 82

Capacidades ofensivas versus defensivas, 157 , 234.

vida fuera de la red, 198

interruptores de apagado, 244–45

tecnología omniuso, 105 , 110-12

AI y, 111 , 130

contención y, 233

contradicciones y, 202

poder y, 182

regulación y, 229–30

Abierto AI, 62 , 64 , 69 , 251

imperativo de apertura, 127–29

opioides, 36

Oppenheimer, J. Robert, 140

 problemas de optimización, 98

limitaciones organizativas, 148–50 , 228

Orwell, George, 196

Otto, Nicolás 23 de agosto

Imperio Otomano, 38 , 40

PAG
Pakistán, 45

Palma, 66 , 68

pandemias, 205 , 209 , 243 , 273–74

Ver también Pandemia de COVID-19

Pan Jianwei, 122-23

Acuerdo de París, 45 , 46 , 263

Tratado de prohibición parcial de ensayos nucleares (1963), 42–43

Asociación sobre IA, 246

sistema de patentes, 127

patógenos

contención y, 273–74

investigación de ganancia de función (GOF), 175–77

fugas de laboratorio, 173–75 , 176

PayPal, 188–89

revisión por pares, 128

Pelosi, Nancy, 170

Pérez, Carlota, 29 , 132

aversión al pesimismo, viii , 13–14 , 102 , 236 , 253

industria petroquímica, 87

Cuadricóptero con cámara fantasma, 106

phishing, 171

fonógrafo, 35

automodificaciones físicas, 86 , 200

pi, 243

Plaga de Justiniano, 205

Platón, 5

Estación de juegos 2, 110–11

vacuna contra la polio, 263

polarización política, 155

movimientos populares, 271–72

tamaño de la poblacion

crisis de, 219–20

ondas tecnológicas y, 27–28

populismo, 153

mundo post-soberano

autoritarismo y, 185 , 191–92

contradicciones y, 202–4

corporaciones y, 186–89

descentralización y, 198–99 , 200–202

 desmaterialización y, 189

democracias y, 185

limpieza étnica y, 195

entidades híbridas y, 196–97

poder y, 184–85

vigilancia y, 193–96 , 206

poder, 102

contradicciones y, 202

amplificadores de fragilidad del estado nación y, 163–64

tecnología omniuso y, 182

mundo post-soberano y, 184–85

telar eléctrico, 282–83

impresión, 30 , 35 , 38–39 , 40 , 157

afán de lucro, 131–36

contención y, 254–58

proliferación, 30–31 , 32–34

AI y, 68–69

inevitabilidad de, 40–41 , 47

pliegues de proteínas, 88–90

Proteo, 94

Protocolo sobre armas láser cegadoras (1995), 263

corporaciones de beneficio público, 258

Putin, Vladímir, 125 años.

q
Computación cuántica, 97–99 , 109 , 114 , 122.

R
Gasto en I+D, 129 , 134 , 259

racismo, 69 , 239–40

radio, 157

ferrocarriles, 23 , 131–32

ransomware, 160–62

Reagan, Ronald, 201

Defensa de la rebelión, 166

equipo rojo, 246

Reforma, 35

tecnologías regenerativas, 85

regulación como método de contención, 225–26

desafíos de, 226–27 , 229–30

legislación y, 260

licencia y, 261

estados-nación y, 230–31

necesidad de, 277

cultura autocrítica y, 269

aprendizaje por refuerzo, 95 , 117 , 166–67 , 240

Ver también aprendizaje automático

Robot remoto Andros Mark 5A-1, 97–98

Renacimiento, 201

energía renovable, 100–101

Restrepo, Pascual, 179

efectos de venganza, 36 , 176 , 177

Anillo, 227

Edición de ARN, 82

Robinson, James, 276 , 278

robótica, 93–97

Desarrollo chino de, 122

aplicaciones militares, 165–66

afán de lucro y, 134–35

biología sintética y, 109

Rogers, Everett, 56–57

Rotblat, José, 270

Russell, Estuardo, 115 , 244

Epidemia de gripe rusa, 173–74

Invasión rusa de Ucrania, 44 , 103–4

Rutherford, Ernesto, 41 años

S
Grupo Samsung, 188

Sanofi, 110

SRAS, 174–75

hipótesis de escala, 67–68 , 75

Schneier, Bruce, 167

Schumpeter, José, 29

Revolución científica, 35 , 127

ADN seguro, 247 , 265

vehículos autónomos, 113

semiconductores, 32 , 84 , 249–50

Sentido del tiempo, 194

Escudo IA, 166

seda, 41

Cantante, Isaac, 133

Singularidad, 74

Ver también superinteligencia

teléfonos inteligentes, 33 , 60 , 112 , 187

Sonrisa, Václav, 138

Snowden, Eduardo, 122

medios de comunicación social

contradicciones y, 202

desinformación y, 172

estados-nación y, 155 , 156

 imperativo de apertura y, 128

eficiencia organizacional y, 150

energía solar, 100 , 198

solución, 86

Corea del Sur, 188

Unión Soviética, 171–72 , 192

desechos espaciales, 36

viajes espaciales, 122

EspacioX, 104

gorrión, 95

velocidad. Ver hiperevolución

Sputnik, 119-20 , 126

Estabilidad IA, 199

Difusión estable, 69

estancamiento, 217–21

Enlace estelar, 104

mito de la puesta en marcha, 141

máquina de vapor, 23 , 131

Stephenson, George, 131

estribo, 183–84

herramientas de piedra, 26

superinteligencia, 74–75 , 77 , 115

vigilancia

auditorías y, 248
 distopía y, 215-17

mundo post-soberano y, 193–96 , 206

regulación y, 228

resistencia a, 277–78

Sutskever, Ilya, 59 años

enjambre de robots, 95–96

Transformador de interruptor, 68

Sicomoro, 122

Biología sintética

AI y, 89–90 , 109

auditorías y, 247–48

escenarios de catástrofe y, 208–9

computadoras y, 87–88

solicitudes actuales, 84–85

descentralización y, 200

aprendizaje profundo y, 90–91

definido, viii

desmaterialización y, 190

desarrollo de, 55

cooperación internacional y, 265–66

tecnología omniuso y, 112

potencial de, 85–87

poder de, 56

afán de lucro y, 134

 imprevisibilidad de la investigación y, 129–30

Ver también ola que viene ; edición de genes

medios sintéticos, 169–71 , 172–73

Sintia, 84 años

biología de sistemas, 85

Szilard, Leo, 41 años

t
impuestos, 261–62

desempleo tecnológico, 177–81 , 261 , 262 , 282

tecnología

definido, viii , 26

fracasos de, 18

naturaleza interrelacionada de, 56–57

dependencia social de, 218-19

como simbiótico con los estados-nación, 156-58

ubicuidad de, 235–36

consecuencias no deseadas de, 35–36

Ver también características de la tecnología de las olas venideras ; tecnologías

específicas

El costo de la tecnología disminuye.

AI y, 64 , 68

informática, 108
 contención y, 39 , 43 , 233–34

ingeniería genética, 80 , 81 , 83 , 84

secuenciación del genoma, 81

poder y, 102

proliferación y, 31

robótica, 95 , 96

ondas tecnológicas, 6 , 16 , 25–26

aceleración de, 28–29 , 92

difusión y, 30–31

evolución y, 26–27

inevitabilidad de, 29 , 47

invisibilidad de, 27 , 73

material y, 54–55

proliferación y, 32–34

renuncia a, 47

imprevisibilidad de, 29

urbanización y, 27–28

teléfono, 31

televisión, 157

terrorismo, 44–45 , 160–62 , 207 , 212–13

Thiel, Pedro, 201

Impresión 3D (fabricación aditiva), 96 , 109 , 166 , 190

Tilly, Carlos, 157

Tiwari, Manoj, 169–70

 Toffler, Alvin, 29 años

fichas, 63

totalitarismo. Ver autoritarismo ; vigilancia

optimización del tráfico, 98

transcriptores, 88

transformadores, 64 , 90–91

transistor, 32–33 , 67

Tratado sobre la no proliferación de armas nucleares (1968), 43 , 263

Zar Bomba, 42 años

Universidad de Tsinghua, 121

TSMC, 251

Turing, Alan, 35 , 75

23yyo, 81

2001: Una odisea en el espacio, 110

Ud.
Limpieza étnica uigur, 195

Ucrania, 44 , 103–4 , 161–62

Una bomba, 213

Estados Unidos

controles de exportación, 249–50

cooperación internacional y, 265–66

 vigilancia, 195

renta básica universal (RBU), 262

Universidad de Oxford, 101

Urbano II (papa), 39

urbanización, olas tecnológicas y, 27–28

Agencia de Seguridad Nacional de Estados Unidos (NSA), 161

V
vehículos

impacto asimétrico y, 107

autonomía y, 113

motor de combustión interna y, 24–25

regulación de, 229–30

Venter, Craig, 84

Soluciones vigilantes, 196

virus, 173–75 , 209 , 273–74

von Neumann, Juan, 141 , 221 , 222

W.
Walmart, 95–96
Quiero llorar, 160–61 , 163 , 166

Watson, James, 80

Watson, Thomas J., 32

WaveNet, 61

ondas, viii , 5–6 , 16

Ver también ondas tecnológicas

Nosotros (Zamyatin), 196

armas

AI y, 165

contención y, 39 , 40 , 263

estados-nación y, 157

estribo y, 183–84

Ver también aplicaciones militares ; tecnología nuclear

rueda, 28

Oficina de Política Científica y Tecnológica de la Casa Blanca, 260

Wilkins, Mauricio, 80

Ganador, Langdon, 156

Primera Guerra Mundial, 110 , 205

Segunda Guerra Mundial, 32 , 42 , 126 , 205 , 264

escritura, 27 , 28 , 156–57
X
Xi Jinping, 121 , 122 , 123–24 , 249

z
Zamiatin, Yevgeny, 196

Zhang, Feng, 265

A B C D mi F GRAMO h I j k l METRO norte oh PAG q R S t Ud. V W. X Y z

 SOBRE LOS AUTORES

MUSTAFA SULEYMAN es el cofundador y director ejecutivo de Inflection AI.

Anteriormente cofundó DeepMind, una de las empresas de inteligencia
artificial líderes en el mundo. Después de una década en DeepMind, Suleyman
se convirtió en vicepresidente de gestión de productos y políticas de IA en
Google. Cuando estudiaba en Oxford, Suleyman abandonó sus estudios para
ayudar a iniciar un servicio de asesoramiento telefónico sin fines de lucro. Vive
en Palo Alto, California.

MICHAEL BHASKAR es un escritor y editor radicado en el Reino Unido. Es autor de

The Content Machine, Curation y Human Frontiers .
 Qué sigue en
tu lista de lectura?
Descubre tu próxima
gran lectura!

Obtenga selecciones de libros personalizadas y noticias actualizadas sobre

este autor.

Regístrate ahora.
_144835715_