Efficient Estimation of Word Representations in Vector Space

Integrantes:
Francisco Javier Huerta Silva
Omar Alonso del Rio Peralta
Carlo Alfredo Pano Flores

En la actualidad muchos sistemas y técnicas de PNL (Procesamiento del Lenguaje

Natural) se encuentran ciertamente limitados ya sea por la cantidad de datos
relevantes en el dominio, el rendimiento y por lo tanto hay situaciones en las que
ampliar estas técnicas no dará ningún avance significativo.

Sin embargo el avance en las técnicas de aprendizaje automático, se ha vuelto una

posibilidad el entrenar modelos más complejos con un conjunto de datos mucho
más grande y por lo general superan los modelos “simples”.

El primer modelo del que se habla es de Recurrent Neural Net Language Model
(RNNLM) donde las palabras de entrada se codifican por medio de 1-of-V donde V
será el tamaño del vocabulario. Esta arquitectura se vuelve compleja entre el cálculo
de la proyección y la capa oculta la cual se encarga de asignarle un peso a cada
entrada, en general la complejidad de esta técnica es de :

Donde H es el tamaño de la capa oculta, NxD es la dimensionalidad de la capa

donde se proyecta la entrada y finalmente V es el tamaño de la entrada.

Otro modelo que continúa con este formato es Recurrent Neural Net Language
Model (RNNLM) en este caso se utiliza las RNN ya que teóricamente estas pueden
representar patrones complejos que redes neuronales superficiales, además en este
problema en particular no tiene capa de proyección, por lo tanto se generará un tipo
de memoria, la complejidad de esta técnica es de:
Ahora se verán otras técnicas propuestas con la finalidad de reducir la complejidad
computacional, la primera es Continuous Bag-of-Words Model,se le llama a esta
arquitectura un modelo de bolsa de palabras ya que el orden de las palabras en la
historia no influye en la proyección, además aquí no hay una capa oculta y tampoco
de proyección, por lo tanto terminamos con una complejidad de:

Por últimos contamos con la técnica Continuous Skip-gram Model esta arquitectura
es similar a CBOW, pero en lugar de predecir la palabra actual según el contexto,
trata de maximizar la clasificación de una palabra según otra palabra en la misma
oración, dado que las palabras más distantes suelen estar menos relacionadas con
la palabra actual que las cercanas, damos menos peso a las palabras distantes, la
complejidad en este caso es de:

A diferencia de las otras técnicas respecto a la complejidad ahora tenemos un

nuevo término C que en este caso representa la distancia máxima entre palabras.