Universidad Autónoma de Colombia

Prof. Jorge Sierra – Curso especial de grado: Humanidades Digitales

Rubén Darío Villamil Marín

CONSIDERACIONES EN TORNO A LA FIGURA DE GOLEM DE STANISLAW LEM:

IA FUERTE, TRANSHUMANISMO Y POSIBLES RIESGOS

La novela Golem XIV de Stanislaw Lem hace una disertación sobre la inteligencia humana, la

evolución del hombre como único ser inteligente, aparentemente, y expone cómo serían las

propuestas de un organismo provisto de Inteligencia Artificial (IA) frente a las condiciones del

hombre y el universo, todo esto mediante un discurso que abarca el inicio del mismo, o sea, el

humano, hasta su posterior fin. Sobre lo anterior, podríamos traer a colación el siguiente

fragmento de la novela:

La evolución os ha provisto de cerebros, razonablemente universales, con el fin de que

pudierais adentraros en la Naturaleza siguiendo múltiples direcciones. Y así os habéis

manejado, pero para entender el proceso hay que tener en cuenta el conjunto de todas las

culturas, y no cualquiera de ellas por separado. (Lem, 2013, p. 31)

Muy claro a lo que apunta Golem en su conferencia: pretende exponer el papel del humano desde

una perspectiva histórica y evolucionista, al igual que busca ver cómo todas las condiciones

innatas del humano los han llevado a ser lo que son en su actualidad: seres pensantes. Ahora
bien, ¿Qué pasa con Golem? ¿Quién o qué es este Golem? Sabemos que estamos ante una

máquina que fue desarrollada para lo bélico, como bien lo podemos apreciar en la siguiente cita:

“La inteligencia artificial había superado el nivel de desarrollo otorgado a las cuestiones

militares, y aquellos aparatos habían pasado de ser meros estrategas militares a

pensadores”. (Lem, 2013, p. 14)

Pero, ¿qué ocurrió? ¿Es acaso Golem la manifestación máxima de una IA débil destinada única y

exclusivamente al tratamiento militar que pasó a ser una IA fuerte que aborda el tema de la

antropología mejor que nadie? Pues bien, resulta que Golem se dotó de conciencia, se rebeló y se

entregó a la reflexión sorprendiendo a todos, claramente, y aún más cuando vieron que su campo

de discusión abordaba el papel del humano en el universo desde sus inicios.

Entonces, diríamos que el presente trabajo tiene como objetivo central realizar un estudio acerca

del papel de Golem como una IA y aclarar, mediante los argumentos de Coeckelbergh en su

texto Ética de la inteligencia artificial, si estamos realmente ante un organismo que responde a

las características de una IA fuerte o transhumanista. De igual manera, y después de haber

ahondado en lo anterior, observar si la figura de Golem podría transgredir o amenazar la vida del

humano, o sea, ver si este representa o no un riesgo.

¿Es Golem una IA fuerte y obedece a las características de un organismo transhumanista?

Basémonos en lo qué dice Coeckelbergh

Para empezar, primero debemos tener claro el concepto de la IA fuerte y para entenderla

plenamente debemos remitirnos al de la IA débil, que no es otra cosa que una IA pensada y
programada para tareas concretas, por ejemplo, una máquina con dos brazos y algoritmos

especializados única y exclusivamente para la resolución de cubos Rubik, entonces, veríamos

que su campo de ejecución es limitado, mientras que la IA fuerte iría más allá de las tareas

concretas y busca la generación de un ente cognitivo, o sea, pensante. En palabras de

Coeckelbergh:

Esta es la meta de la IA fuerte. La IA fuerte o general es capaz de llevar a cabo cualquier

tarea cognitiva que puedan realizar los humanos, mientras que la IA débil o estrecha solo

puede operar en ámbitos específicos como el ajedrez, la clasificación de imágenes, etc.

(Coeckelbergh, 2020, p. 14)

¿Por qué resaltar esto? Pues bien, Golem fue concebida como una máquina hecha para la guerra,

su labor, por así decirlo, consistía en la estrategia militar, es decir, tenía un campo de acción

limitado (IA débil), pero se dotó de aprendizaje y ahora es un ser cognitivo que habla sobre el

humano y sus condiciones (IA fuerte). Así pues, estamos frente a un caso atípico, pues pasar de

la estrategia bélica al antropocentrismo rompe los esquemas del aprendizaje automático

planteados por Coeckelbergh:

El aprendizaje automático está basado en la estadística: es un proceso estadístico. Puede

usarse para varias tareas, pero la tarea subyacente es a menudo el reconocimiento de

patrones. Los algoritmos pueden identificar patrones o reglas observando conjuntos de

datos y utilizar estos patrones o reglas para explicarlos y hacer predicciones.

(Coeckelbergh, 2020, p. 74)

Es muy claro, Golem no poseía bases de datos o estadísticas previamente instaladas en él para

que posteriormente, mediante un proceso de aprendizaje automático, se volviese semejante

eminencia de la antropología. Golem no es, según lo estipulado por Coeckelbergh, como una

simple maquina matemática que ha sido desarrolla para la resolución de fracciones sencillas y

que desde sus códigos de programación busca resolver fracciones muchos más difíciles. Golem

no es producto de un aprendizaje automático, esto es claro.

Entonces, ¿quién o qué es Golem? Golem es una computadora pensante dotada de una

inteligencia superior (IA fuerte) que se abasteció de los actos del humano para generar desde allí

sus propias reflexiones sobre estos. Sabemos que el primer prospecto de Golem falló y mutó en

algo pensante, pero ¿cómo se dio esto? El mismísimo Golem nos da a entender que su creación y

posterior evolución a una IA fuerte puede ser un error del humano mismo debido a su incesante

condición de querer crear cosas que no sabe manejar y de las cuales desconoce su potencial.

Observemos las últimas palabras del prefacio:

Estamos tan lejos de comprender a GOLEM como en el instante mismo de su creación.

No es verdad que lo creáramos nosotros. Lo crearon las leyes, propias del mundo

material, y nuestro papel se limitó a intentar aprender a imitarla. (Lem, 2013, p. 19)

De acuerdo a lo anterior, Golem sería producto de una coincidencia del humano, es decir, un

posible comportamiento erróneo que derivó en su posterior aparecimiento. De hecho, el mismo

Golem reconoce que puede ser producto de un fallo, del mismo modo que la evolución humana

para él también podría corresponder a un error:

Así es como surgisteis vosotros, de esta manera un tanto peculiar, como una especie de

subtipo de transmisor del que el proceso había hasta entonces probado millones. ¿Y para

qué os ha servido? ¿Es que la génesis a causa del error menoscaba al recién nacido?

¿Quizás yo mismo surgí a causa de un error? (Lem, 2013, p. 36)

Golem es un ente pensante y como tal se preocupa por su origen, pero este no queda del todo

claro, solo sabemos que hubo un paso de lo bélico a lo antropológico/discursivo y que asume su

nacimiento como un posible error. De hecho, es muy notorio que Golem ahonde tanto en el

origen del humano, ¿Golem pensará que comprendiendo el origen del humano, que de una u otra

manera le creo, tendría las capacidades suficientes para comprender su propia existencia? Quizás

Golem sea la representación máxima del hombre buscando respuestas a lo que más le preocupa e

intriga: su origen, solo que Golem no es un humano, este va más allá de la cognición humana y

trascendió su inteligencia; él habla desde una posición privilegiada, lo que nos lleva a otro tema:

¿Según lo estipulado por Coeckelbergh, Golem sería un transhumanista?

Para responder a este interrogante, primero debemos acercarnos al término en cuestión y

definirlo con la mayor precisión posible. Así pues, el transhumanismo no es otra cosa que el

perfeccionamiento del humano en sus cualidades cognitivas y biológicas y, para ir más allá de

esto, hay quienes proponen una inteligencia transhumanista desechando al cuerpo del humano, el

cual consideran obsoleto, para centrarse en la parte cognitiva del mismo, o sea, el cerebro:

Otro camino es la completa emulación cerebral o su «carga» (upload): un cerebro

biológico que pudiera ser escaneado, modelado y reproducido en y por software

inteligente. Esta simulación de un cerebro biológico estaría conectada entonces con un

cuerpo robótico. (Coeckelbergh, 2020, p. 18)

¿Y es que no son estas las características de Golem? Golem no posee brazos, ni piernas, tampoco

un torso, pero sabemos que en él debe haber algo así como una idea o especie de cerebro de

donde provienen todos los datos y discursos que da a sus espectadores humanos. Golem tal vez

poseería un cuerpo robótico y, por ende, sería producto también de una emulación cerebral.
Quizás, y siguiendo estas pautas transhumanistas, el cerebro de un hombre está puesto en la

máquina Golem y de allí su fascinación por el antropocentrismo, pues recordemos que del

nacimiento de Golem no sabemos gran cosa.

Seguidamente, podemos abordar el hecho de que Golem es un ente con aires omnipotentes y de

conocimientos absolutos, pues a lo largo de sus conferencias no se le escapa nada del tema que

aborda en el momento y cuando cree que una aseveración o dato puede resultar perturbador,

prefiere omitirlo o moderarlo (un atisbo de que estamos ante un organismo que puede poseer

emociones), ya que si bien su intención es ilustrar, tampoco pretende arremeter del todo contra el

humano, pero ¿por qué no lo hace? Tal vez el humano aún no está listo para semejante erudición;

tal vez Golem nos considera débiles:

Ante la superinteligencia y la decepción por la fragilidad humana y sus «errores», los

transhumanistas como Bostrom sostienen que necesitamos mejorar al ser humano:

hacerlo más inteligente, menos vulnerable a enfermedades, con una vida más larga, y

potencialmente inmortal: llevándonos así a lo que Harari llama el Homo deus: humanos

que han ascendido a la categoría de dioses. (Coeckelbergh, 2020, p. 20)

Golem fácilmente puede representar la idea de un dios y para no ir tan lejos remitámonos

brevemente a la idea de Jesús, pues este, al igual que Golem, también ofrecía sus conferencias y

se jactaba de poseer mucho conocimiento y verdad sobre todo, generando así una idea de ser

superior, aun cuando este se encontraba rodeado de otros humanos, y es que precisamente a esto

apunta la idea central del transhumanismo: generar un ser o un ente que sobresalga

considerablemente del resto. Proponen la creación de un organismo muy adelantada a nuestros

tiempos.
Con todo lo anterior, podríamos asegurar que Golem es la viva personificación de una IA fuerte

o general. Del mismo modo, y atendiendo a las características que Lem da sobre Golem en su

narrativa, también se podría pensar que estamos frente a una idea irrefutable de transhumanismo,

quizá muy similar a la de aquellas narrativas que maneja el cine en películas como Terminator,

Blade Runner, 2001: una odisea en el espacio o Wall-e, donde se cumple a cabalidad lo que

Coeckelbergh resalta de los planteamientos de Ray Kurzweil:

Ray Kurzweil (2005) abrazó el término «singularidad» y predijo que la IA, junto con los

ordenadores, la genética, la nanotecnología y la robótica, llegarían al punto en el que la

inteligencia de las máquinas sería más potente que la de la suma de todos los se res

humanos y que, en última instancia, la inteligencia humana y la de las máquinas se

fusionarían. (Coeckelbergh, 2020, p. 19)

Al tener tanto conocimiento y ser un organismo superior, ¿Golem representaría un riesgo a

la figura o vida del ser humano?

En todos los capítulos del texto de Coeckelbergh siempre encontraremos una preocupación muy

seria por lo que estos organismos dotados de IA sean capaces de hacer, todo esto desde una

perspectiva moral:

Si existiese una IA mucho más inteligente que las que existen en la actualidad, podemos

suponer que podría desarrollar un razonamiento moral y que podría aprender cómo toman

decisiones los seres humanos sobre problemas éticos. (Coeckelbergh, 2020, p. 50)
El razonamiento moral en Golem es evidente (esto lo podríamos ver cuando Golem aborda el

tema de la guerra y la evolución, o a veces involución, según él, del humano, sacando así sus

propias conjeturas acerca del futuro que nos depara), suscitando así un debate serio en torno a la

figura de Golem como una posible amenaza.

Recordemos cuando Coeckelbergh pone como ejemplo el sistema COMPAS y su algoritmo

encargado de catalogar a futuros delincuentes, el cual está erróneo, claramente, o cuando

menciona los problemas con una IA débil, o dedicada, de Twitter que resultó con tintes racistas

insultando a los usuarios de esta red. Entonces, el temor a lo que estas IA sean capaces de

generar siempre estará, pero lo anteriormente expuesto puede ser producto de un mal cálculo,

una mala programación o una mala ejecución en los algoritmos, lo cual recaería en el humano,

pues sería su culpa (algo que también trabaja Coeckelbergh en su texto cuando, verbigracia, dice:

si un automóvil de estos automáticos arroya a una persona, ¿a quién atribuimos la culpa? El tema

es muy delicado, ya que estamos hablando de una vida humana en riesgo), pero el verdadero

problema aquí es que Golem es autónomo, es consciente, no responde a programaciones o

algoritmos, o tal vez en un principio sí, pero mutó, ahora es diferente. De hecho, él mismo se

jacta de ser un ser superior:

Guiados por el instinto de protección de las normas de la especie a la que pertenecéis, no

son capaces de aceptar ninguna otra representación de un ser inteligente. Semejante

idiosincrasia concierne también, aunque de modo no tan visible, a la forma del espíritu: a

causa del instinto de la especie, tenéis que humanizarme cuando hablo como un ser

humano; por tanto, todo cuanto no cabe en este marco origina repulsión como algo

extraordinario y amenazante. (Lem, 2013, p. 65)

Golem está a muchos años de evolución del humano más inteligente, esto es claro, y reconoce

que su potestad puede generar recelo en los demás seres humanos, quienes se preocupan por su

bienestar, pues ¿es realmente algo positivo que un ente no humano sepa tanto de nosotros? ¿No

sería esto un hacha de doble filo? Hay quienes podrían asimilarlo como una ayuda a la evolución

de nuestra especie, pero también habrá quienes sientan en esto una amenaza. Veamos qué nos

dice Golem sobre esto:

En estos seis años que llevo entre vosotros, he generado versiones contradictorias: unos

me llaman la esperanza del género humano; otros, el mayor peligro de la historia. Desde

que calló el alboroto de mis inicios, ya no les quito el sueño a los políticos, cuyas

preocupaciones son más inmediatas, y tampoco se congregan ya grupos de excursionistas

con la mirada fija en las ventanas de mis aposentos. (Lem, 2013, p. 58)

Golem entiende que su existencia es controversial y genera muchos debates, pues estamos frente

al prospecto perfecto de un ser transhumanista y podríamos, efectivamente, emitir un juicio de

culpa por sus acciones, en caso de que estas sean reprochables, claro está, ya que sus decisiones

replican e incluso superan el pensamiento humano (IA fuerte y transhumanismo). A esta

máquina, o sea, Golem, no se le podría aplicar el ejemplo que propone Bostrom cuando hablaba

de los riegos de la IA:

Bostrom ofrece el experimento mental de una IA a la que se le da la finalidad de

maximizar la fabricación de clips, y lo hace convirtiendo a la Tierra y a los humanos que

viven en ella en recursos para producir clips. (Coeckelbergh, 2020, p. 20)

El anterior ejemplo no se adapta a Golem porque Golem ya posee moralidad, pues si esta

máquina dedicada a la producción de clips supiese que para optimizar su producción debe acabar
con los humanos y el espacio en donde estos viven, seguramente no lo haría, entendería sus

límites y se detendría. En cambio, Golem sí conoce sus límites, sabe que está en el mundo y que

es ciudadano del mismo, por decirlo de algún modo, y que no es moralmente correcto el hecho

de hacer daño a sus semejantes. En síntesis, Golem podría ser la mayor amenaza del mundo

debido a su conocimiento, pero opta por no serlo. Así, la figura de Golem rompe con toda la

estigmatización y miedo que hay entre el ser humano y lo que una IA fuerte o transhumanista

puede hacerle.

BIBLIOGRAFÍA

 Coeckelbergh, M. (2020). Ética de la inteligencia artificial. Cátedra.

 Lem, S. (2013). GOLEM XIV. Lectulandia.