Curso de de

Transfer Learning
con Hugging Face

Omar Espejel
 Omar Espejel
Machine Learning
Engineer en Hugging
Face 🤗, la mayor
empresa de inteligencia
artificial abierta.
Conocimientos
previos
 Qué aprenderás

● Qué es y cómo hacer

transfer learning.
● Qué es el Hub de Hugging
Face y cómo usarlo.
 Qué aprenderás

● Utilizar modelos modernos

para nuestras propias
aplicaciones.
● Afinar modelos de lenguaje
y visión.
 Qué aprenderás

● Utilizar datasets open

source compartidos por la
comunidad en el Hub.
 Introducción al
transfer learning
Utiliza los modelos
desarrollados por
grupos como

y más
 Visión por
computadora
Procesamiento de
lenguaje
natural
¿Empezar de cero o
aprender de
los errores?
¿Es más fácil aprender
a correr
sin aprender a caminar
primero?
- NO
 ¿Por qué
deberíamos usar
Transfer
Learning?
1. Reutilizar
el poder
computacional
2. Por el medio
ambiente
3. Falta de datos
etiquetados
4. Mejores
modelos
 ¿Dónde están
esos modelos
pre-entrenados?
Machine learning
abierto para todo
el mundo
Ninguna empresa /
organización podrá
"resolver la IA"
por sí misma
Comunidad, compartir,
colaborar = El Hub de
Hugging Face
+ 50 mil modelos
+ 5 mil datasets
+ 5 mil Spaces
(demos)
 Las tasks en
Machine learning
 Tus primeros
modelos
pre-entrenados
usando pipeline
Explorando los
Datasets
Introducción a los
Transformers
 El presente y
futuro próximo del
machine learning
 ● Lenguaje
● Series de tiempo
● Visión
● Audio
● Aprendizaje por refuerzo
Y el desarrollo
continúa...
¿Cómo funcionan?
BERT AKBERT XLM

DistilBERT RoBERTa
 Clasificación

Reconocimiento
de entidades

Extracción de
preguntas y respuestas
GPT-Neo & GPT, GPT-2,
GPT-J GPT-3

Transformer
CTRL
XL
Generación
de texto
 Modelos
encoder-decoder
BART T5
Descripción de imágenes

Traducción

Generación de resúmenes
 Entrenar un
modelo Transformer
de cero puede ser
complejo…
¡Usemos transfer
learning!
 Aplicando
transfer learning
¡Afinemos nuestros modelos!
Paso 1: descarta la
cabeza del
Transformer
pre-entrenado
Paso 2: agrega
cabezas nuevas
para tu tarea
 Paso 3: entrenar con:
a. TensorFlow o PyTorch
b.1. Usar el Trainer de la
librería de 🤗 Transformers
(si usas PyTorch)
b.2 Escribir el entrenamiento si
usas Keras/Tensorflow
 Dataset para
computer vision
Procesamiento de
dataset para
computer vision
Configurando un
Trainer para
computer vision
Entrenamiento y
evaluación de
modelo de
computer vision
Carga de dataset
para NLP
Procesamiento de
dataset para NLP
Configurando un
Trainer para NLP
Entrenamiento y
evaluación de
modelo de NLP
 El Hub como tu
curriculum para
machine learning
 Compartir tu
modelo en el Hub
de Hugging Face
 Proyecto final
1. Busca un modelo de visión.
2. Busca un dataset de
clasificación de imágenes.
3. Afina tu modelo para este
nuevo dataset.