INFORMATICA V

¿Qué es GPT-3 de OpenAI y por qué se habla tanto de ello?

Qué es GPT-3 (generative pre trained transformer 3)

GPT-3, creado por OpenAI, significa Generative Pre-trained

Transformer 3 y hace referencia, en el campo de
la inteligencia artificial (IA), a un modelo de lenguaje
autorregresivo que emplea aprendizaje profundo para
diversas tareas relativas a la comprensión y generación de
lenguaje. Decimos que es generativo porque genera
secuencias largas de texto original, y preentrenado porque
no se ha creado con ningún conocimiento de dominio.
Es una red neuronal gigantesca y, como tal, forma parte
del segmento de aprendizaje profundo del aprendizaje
automático, que en sí mismo es una rama de la inteligencia
artificial. Este tipo de modelo también se están
desarrollando para aplicación práctica en empresas.
El programa es el mejor hasta el momento para producir textos que pueden confundirse con
otros escritos por un humano
Esta tercera generación de los modelos de predicción de lenguaje GPT tiene una capacidad de
175.000 millones de parámetros de aprendizaje automatizado. Forma parte de una tendencia
en sistemas de procesamiento de lenguaje natural (PLN) basados en «representaciones de
lenguaje pre-entrenadas». El PLN tiene la generación del lenguaje natural (lenguaje humano)
como uno de sus componentes principales.

Con este algoritmo, el usuario comienza a escribir un párrafo y el sistema completa el resto de
la forma más coherente posible, con contenido original. Y es solo un ejemplo. GPT-3 despierta
interés y genera nuevas expectativas, ya que sus resultados muestras las posibilidades de una
inteligencia artificial general.

Uno de los retos más destacados para GPT-3, como para la mayoría de los algoritmos de
aprendizaje automático, son los sesgos
En los modelos de lenguaje, si el algoritmo aprende de aquello que lee y, por tanto, si se lo
entrena a partir de textos de internet, pueden colarse sesgos de género o racistas, entre otros.

GPT-3 fue presentado oficialmente el 28 de mayo de 2020, a través de la publicación de la

investigación con coautoría de investigadores e ingenieros de OpenAI y de la Universidad John
Hopkins.

La historia de OpenAI
OpenAI es la empresa creadora de ChatGPT y, tal como ofrece la
información corporativa, nació como un laboratorio pequeño sin fines de
lucro. En origen, su objetivo era crear Inteligencia Artificial segura para la
humanidad, con transparencia. Pero actualmente, esta empresa está
inmersa en un momento bien distinto, ya que la necesidad de
financiación le hace tomar decisiones no tan altruistas. En concreto, OpenAI ya proyecta 1.000
millones de dólares en ingresos para 2024.
 INFORMATICA V

Fundada en 2015 como organización sin fines de lucro de EEUU, se convirtió en uno de los
laboratorios pioneros en el desarrollo de IA segura, es decir, aquella que beneficiara
equitativamente a la sociedad, superando los sesgos habituales hasta ahora en el campo de la
IA general.

La génesis de OpenAI se produjo alrededor de una mesa, en una cena de Elon Musk, Sam Altman
e Ilya Sutskever, en la cual se compartió la preocupación de que la IA se convirtiera en una
amenaza
Con una primera inversión de 1.000 millones de dólares y los mejores jóvenes expertos en IA a
nivel mundial, Musk y Altman iniciaron su proyecto con una misión particular: para que la IA no
sea negativa, o un riesgo, no puede ser algo restrictivo, sino que debe estar al alcance de todo
el mundo.

Los primeros resultados

En 2018, por conflicto de intereses, Elon Musk
renunció a participar en el consejo de
administración de OpenAI.

En 2019 se presentó GPT-2, el modelo de lenguaje

avanzado que redactaba párrafos completos,
imitando el estilo de la frase fuente.

Y en 2020 llegó GPT-3, con 175.000 millones de parámetros de aprendizaje automatizado. Este
modelo es capaz de generar textos extensos de gran calidad, similares a los redactados por
cualquier persona. En esta ocasión, GPT-3 tuvo distribución comercial para los desarrolladores.

Para poder obtener estos resultados, en 2019 la organización sin fines de lucro se reestructuró
financieramente, encaminándose hacia los beneficios mediante OpenAI LP, que sí tenía fines de
lucro. A partir de ese momento es cuando Microsoft se incorporó a la organización como
inversor y socio preferente. Resultado de todo ello fue que Microsoft ofrecía, a sus clientes
desarrolladores, productos y soluciones tecnológicas que integraban modelos de GPT-3.

Las organizaciones y los usuarios utilizan GPT-3 (generative pre trained transformer 3) para
infinidad de tareas, desde la redacción de ficción creativa hasta la escritura de código de
aprendizaje automático (machine learning). Pero si el desarrollo de GPT-3 resulta exitoso, las
aplicaciones podrían ser muchísimas y se ha abierto un nuevo capítulo en el aprendizaje
automático.