Redes Neuronales

Recurrentes
Basada en las diapositivas de Andrew Ng
Contenido

❖ Aplicaciones con datos secuenciales

❖ Notación y Representación de Datos
❖ RNR - Idea Básica
❖ Propagación - Retropropagación
➢ Cálculos para la propagación
➢ Retropropagación a través del tiempo
❖ Tipos de arquitecturas en RNR
❖ Lenguaje natural - Algunos conceptos básicos
❖ Retos en secuencias Vanishing Gradientes
❖ Gate Recurrent Unit
❖ Long Short Term Memory
Sesión 3 Ng
Andrew
Ejemplos de Datos Secuenciales
“El gato salta más alto que el
Reconocimiento de Habla perro..”

Generación de Música
“No hay nada bueno en
Clasif. de Sentimientos esta película.”

Análisis de Secuencias AGCCCCTGTGAGGAACTAG AGCCCCTGTGAGGAACTAG

de DNA
Traducción Automát. Voulez-vous chanter avec ¿Te gustaría cantar
moi? conmigo?
Rec. Actividad en Video Corriendo
Ayer, Donald Trump se
Reconocimiento de Ayer, Donald Trump se reunio Andrès López,
reunio Andrès López, presidnete de México.
Nombres Propios
presidnete de México. Sesión 3 Ng
Andrew
Name entity recognition
Notación
x: Harry Potter y Hermione Granger inventaron un nuevo hechizo.

❖ ¿Cómo se representará la entrada?

❖ ¿Cúal es la salida?
❖ ¿Cómo se representará la salida?
❖ ¿Cuál es el tamaño de la entrada?
❖ ¿Cuál es el tamaño de la salida?
❖ ¿Cómo se representará a un ejemplo del conjunto de datos?

Sesión 3 Ng
Andrew
Representación de Palabras
x: Harry Potter y Hermione Granger inventaron un nuevo hechizo.

❖ ¿Cómo se representará la entrada?

❖ ¿Cúal es la salida?
❖ ¿Cómo se representará la salida?
❖ ¿Cuál es el tamaño de la entrada?
❖ ¿Cuál es el tamaño de la salida?
❖ ¿Cómo se representará a un ejemplo del conjunto de datos?

Sesión 3 Ng
Andrew
Representación de Palabras
x: Harry Potter y Hermione Granger inventaron un nuevo hechizo.

- Crear un diccionario
- Usar one hot enconding y= 367
- Si la palabra no está en el inventaron = 4700
un = 1
vocabulario se usa el token nuevo = 5976
hechizo = 8376
<UNK> Harry = 4075
Potter = 6830
Hermione = 4200
Granger= 4000
Sesión 3 Ng
Andrew
¿Por qué no usar una MLP?

Problemas:
- Entradas, salidas pueden tener diferentes longitudes en diferentes
ejemplos.
- No comparte las características aprendidas en diferentes
posiciones del texto. Sesión 3 Ng
Andrew
Redes Neuronales Recurrentes

He said, “Teddy Roosevelt was a great President.”

He said, “Teddy bears are on sale!”
Sesión 3 Ng
Andrew
Cálculos para la propagación

Sesión 3 Ng
Andrew
Cálculos para la propagación
❖ Simplificación en la notación

Sesión 3 Ng
Andrew
Retropropagación a través del tiempo

Sesión 3 Ng
Andrew
Retropro-
pagación
a través
del
tiempo

Sesión 3 Ng
Andrew
Sesión 3 Ng
Andrew
 “The quick brown fox jumped ov
Speech recognition the lazy dog.”

Music generation
“There is nothing to like
Sentiment classification in this movie.”

DNA sequence analysis AGCCCCTGTGAGGAACTAG AGCCCCTGTGAGGAACTAG

Machine translation Voulez-vous chanter avec Do you want to sing with

moi? me?

Video activity recognition Running

Name entity recognition Yesterday, Harry Potter Yesterday, Harry Potter

met Hermione Granger. met Hermione Granger.
Sesión 3 Ng
Andrew
Arquitecturas de RNN

❖ Many to many
❖ Many to one
❖ One to many

Sesión 3 Ng
Andrew
Arquitecturas de RNN

Sesión 3 Ng
Andrew
Lenguaje Natural: Modelamiento
Reconocimiento de habla
The apple and pair salad.

The apple and pear salad.

Sesión 3 Ng
Andrew
Lenguaje Natural: Modelamiento
¿Cómo construirlo?
- Corpus / Tokenizar

Training set: large corpus of english text.

Cats average 15 hours of sleep a day.

The Egyptian Mau is a bread of cat. <EOS>

Sesión 3 Ng
Andrew
RNN para el modelamiento de LN
Cats average 15 hours of sleep a day <EOS>

p(a)p(aaron)p(an) p(...|cats) p(...|”cats average”) p(...|”cats average 15 hours of

...p(UNK)p(EOS) sleep a day ”)

=0

=0 cats average day

0 Cats average 15 hours of sleep a day <EOS>
x<1> x<2> x<3> x<4> x<5> x<6> x<7> x<8> x<9> x<10>
y<1> y<2> y<3> y<4> y<5> y<6> y<7> y<8> y<9>
Sesión 3 Ng
Andrew
RNN para el modelamiento de LN
Cats average 15 hours of sleep a day <EOS>
p(a)p(aaron)p(an) p(...|cats) p(...|”cats average”) p(...|”cats average 15 hours of
...p(UNK)p(EOS) sleep a day ”)

=0

=0 cats average day

Sesión 3 Ng
Andrew
Muestreo de una secuencia en una RNN
entrenada

Sesión 3 Ng
Andrew
Modelo del Lenguaje a Nivel de Caracteres
Vocabulary = [a, aaron, …, zulu, <UNK>]

Sesión 3 Ng
Andrew
Generación de secuencias
News Shakespeare

President enrique peña nieto, announced The mortal moon hath her eclipse in love.
sench’s sulk former coming football langston
paring. And subject of this thou art another this fold.

“I was not at all surprised,” said hich langston. When besser be my love to me see sabl’s.

“Concussion epidemic”, to be examined. For whose are ruse of mine eyes heaves.

The gray football the told some and this has on

the uefa icon, should money as.

Sesión 3 Ng
Andrew
 Problemas con el gradiente en RNNs
Gradientes Desvanecidos

- El gato, que fue encontrado en el patio trasero, fue adoptado …

- Los gatos, que fueron encontrados en el patio trasero, fueron adoptados … Sesión 3 Ng
Andrew
Gate Recurrent Unit (Unidad Recurrente con
Puertas) - Unidad GRU
❖ Cálculo RNR estándar

Sesión 3 Ng
Andrew
GRU (simplificado)

Sesión 3 Ng
Andrew
GRU Completo

Sesión 3 Ng
Andrew
 Unidad LSTM
GRU LSTM

a <t> = Γu * tanh c <t>

[Hochreiter & Schmidhuber 1997. Long short-term memory] Sesión 3 Ng
Andrew
LSTM - Representación Gráfica
softmax

* --
tanh
*
*
forget gate update gate tanh output gate

a <t> = Γu * tanh c <t>

softmax softmax softmax

* -- * -- * --

Sesión 3 Ng
Andrew