Disfruta de este pódcast y de muchos más

Los pódcasts están disponibles sin suscripción, 100 % gratis. También ofrecemos libros electrónicos, audiolibros y más, por solo $11.99/mes.

GPT-3 - Preguntas y Respuestas

GPT-3 - Preguntas y Respuestas

DeSoftware 2.0


GPT-3 - Preguntas y Respuestas

DeSoftware 2.0

valoraciones:
Longitud:
98 minutos
Publicado:
24 jul 2020
Formato:
Episodio de podcast

Descripción

A no ser que estés en una cueva sin internet te habrás enterado del revuelo que está generando GPT-3, un modelo generativo de texto, entrenado por la empresa OpenAI que supone (¿o no?) un paso hacia la inteligencia artificial general.
No puedo entrevistar al mismísmo GPT-3 (y no creas que me interesaría demasiado hacerlo) pero sí hablar sobre las preguntas que habéis hecho por twitter:
- ¡hazle una entrevista al modelo!
- Comparativa con otras tecnologías de los últimos años en grado de posible impacto (similar a BitTorrent? ImageNet neural networks? Bitcoin? BERT?)
- Limitaciones de la tecnología y motivos de que sea un api privada 
- Aplicaciones reales en empresas y startups
- Y como empezar a utilizarlo ya, si es que se puede
- Estaría genial una explicación pa cazurros como yo de las tripas del GPT-3 ¿un Transformer vitaminado? ¿Qué lo hace especial?¿Sólo el tamaño?
- No te da la sensación de que se ha roto otra barrera, de que la IA ha superado otro hito? La gente habla de GPT-3 en el tono en el que se hablaba antaño con el ajedrez o con AlphaGo ("vale, ganará al ajedrez pero nunca podrá...." y esos "nunca podrá" van cayendo) ¿hay miedo?
-  Cual es el siguiente paso para GPT-4??Más cómputo??Mas parámetros???Más datos?? Dónde está el límite???
- Consciencia. ¿Es GPT-3 consciente de alguna forma? Tengo la sensación de que estamos cerca de alguna forma de consciencia 
- Cuanta energia fue necesario para entrenarlo?
- ¿Vamos a tener que ir buscando trabajo los programadores a medio plazo?
- Si se puede dejar desatendido (spoiler:no)
- Ya sabemos que más datos y más parámetros mejoran el modelo, pero ¿hasta qué punto sigue siendo interesante entrenar estos modelos monstruosos que solo pueden poner en producción 4 empresas?
- ¿Estado para otros idiomas distintos al Inglés?
-  Su aplicación para generación de imágenes. ¿Es posible usarlo para eso?
- Sesgos de entrenamiento
- ¿Se puede hacer fine-tuning no para tareas sino para idiomas? Aprovechar de alguna forma lo aprendido en inglés por el modelo para no tener que entrenar desde 0 un nuevo modelo en sueco, por ejemplo.
- La cantidad de recursos que hace falta para entrenarla y si vamos camino de que el deep learning deje de ser "abierto".
- 175B params es a ojo de buen cubero es 1Tb de memoria y no se si podría correr en CPU
* cómo crees que lo han puesto en producción?
* crees que veremos una versión mejorada que funcione en máquinas normales (1/100x)
* que crees que se necesita para entrenar algo así?
- ¿Se podrá poner el modelo estándar de partículas en términos que el embending permita transferirlo al GPT-3 ? Y así saber si el campo de Higgs es metaestable ... entre otras cosas.
Publicado:
24 jul 2020
Formato:
Episodio de podcast

Títulos en esta serie (40)

Software 2.0, es un podcast sobre Inteligencia Artificial. - Cada semana una entrevista con actores relevantes en la inteligencia artificial. - En castellano ¿POR QUÉ? Veo la inteligencia artificial como herramienta transformadora y desgraciadamente hay menos recursos de los que me gustaria en castellano. Espero que hacer accesible oir lo que piensan los gigantes de la IA pueda servir de inspiracion para muchos.