Google BERT para Responsables de Marketing

Análisis
profundo
de Google
BERT para
responsables
de marketing

— 2 Lead nurturing y Lead scoring
Índice
Maecenas ac turpis blandit, pretium nunc eu
1 ¿Cuáles son los cambios de algoritmo

de Google antes de BERT?
—4
2 ¿Qué es BERT de Google?

—6
3 ¿Cómo afecta el modelo BERT al SEO

y qué podemos hacer?
— 10
4 ¿Por qué BERT es importante para los

resultados de búsqueda?
— 12
5 ¿Por qué BERT es un aliado y no un

enemigo de los profesionales del
marketing?
— 15
6 ¿Cómo funciona el natural language

processing (NLP) en BERT?
— 21
7 Modelos de procesamiento de
lenguajes naturales antes de BERT
— 23
8 ¿La actualización BERT del algoritmo

funciona en español?
— 28
— 3 Google BERT para responsables de marketing
¿Cómo funciona y por qué está revolucionando el SEO?
¿Cómo funciona y por qué

está revolucionando el SEO?
Apenas en 2018, un año antes de la actualización de sus algoritmos con
BERT, Google realizó 595.429 experimentos para mejorar la calidad de los
resultados en las SERP. Dichas pruebas se basaron en las Directrices para la
Clasificación de la Calidad de la Búsqueda, las cuales se modifican y renue-
van constantemente. Gracias a este proceso de experimentación, durante
ese mismo año se llegaron a aplicar 3.234 actualizaciones en los algoritmos
de Google.
La mayoría de las actualizaciones son casi imperceptibles para los usuarios,

pero si eres profesional del marketing, desarrollador web, especialista SEO,
blogger o dueño de una empresa, es importante que conozcas a profundi-
dad la actualización de BERT en los algoritmos de Google. Solo así puedes
saber cómo utilizarla a tu favor para generar más visitas y conversiones.
1
¿Cuáles son los
cambios de
algoritmo de Google
antes de BERT?
La gran mayoría de las modificaciones en los algoritmos de Google son a

pequeña escala, pues estas permiten ir perfeccionando poco a poco el fun-
cionamiento del motor de búsqueda. Es por ello que, como usuarios, hemos
visto que los resultados de búsqueda se han estado adaptando mejor a
nuestras necesidades. Mientras que, como profesionales del marketing, he-
mos notado que las métricas de nuestra analítica suelen cambiar de un
momento a otro por razones “desconocidas”.
Sin embargo, todos podemos reconocer una serie de importantes actualiza-

ciones en los algoritmos de Google a gran escala a lo largo de su historia:
→ Google Panda (2011): algoritmo que detecta y penaliza las páginas con
contenidos duplicados, mientras que favorece a aquellas con contenidos
originales y con un uso correcto de las palabras clave.
→ Google Penguin (2012): algoritmo que detecta y penaliza las páginas con
backlinks de baja calidad, mientras que favorece a las que vinculan links
hacia páginas externas con contenidos valiosos.
→ Google Hummingbird (2013): algoritmo que realiza un análisis semántico

de los websites y de las consultas de los usuarios para brindar mejores
resultados según las intenciones de búsqueda.
→ Google Pigeon (2014): algoritmo que prioriza en las SERP a los websites
locales cuando la intención de búsqueda de un usuario es sobre una
zona geográfica específica.
→ Google Fred (2017): algoritmo que detecta y penaliza los sitios web que
tienen contenidos de poco valor y diseñados especialmente para gene-
rar dinero por publicidad con métodos distintos a Google AdSense.
El 2019 es un año que no se queda atrás en cuanto a algoritmos se trata.

Google lanza una de sus actualizaciones más importantes de los últimos
años. El nuevo algoritmo se llama BERT y lo explicaremos en detalle en este
artículo.
Primero, veremos los aspectos más interesantes para los profesionales del
marketing. Luego, veremos los detalles técnicos que más interesan a desa-
rrolladores y especialistas de IT.
2
¿Qué es BERT
de Google?
Técnicamente, BERT es un modelo de Redes Neuronales Artificiales (RNA)

aplicado al campo del Natural Language Processing (NLP), específicamente
al subcampo del Natural Language Understanding (NLU). En otras palabras,
BERT es una técnica de Inteligencia Artificial (IA) que le permite a un sistema
informático comprender mejor el lenguaje humano.
En el GitHub de BERT puedes acceder a todos sus recursos técnicos
Esta técnica fue creada por Google en 2018 e implementada en su algorit-

mo de búsqueda en 2019. Con esto último se dio origen a la hoy conocida
actualización BERT del algoritmo de Google, anunciada públicamente el 25
de octubre de 2019 por Pandu Nayak, vicepresidente de Google Search.
Con esta actualización, BERT se convierte en la segunda implementación de

IA más importante en el algoritmo, después de RankBrain. Su objetivo es
ayudar al motor de búsqueda de Google a tener una comprensión mucho
más profunda de las intenciones e intereses de búsqueda de los usuarios.
Esto al analizar no solo las palabras clave o keywords, sino también el resto
de palabras a su alrededor, las cuales le “dicen” al algoritmo cuál es el con-
texto y la temática específica de cada intención de búsqueda.
Uno de los principales problemas que ayuda a resolver esta actualización

es que el 15% de las búsquedas realizadas en Google cada año son com-
pletamente nuevas, es decir, ningún usuario las ha hecho anteriormente. Con
lo cual, hasta el momento, el algoritmo no tenía la suficiente capacidad para
brindar respuestas coherentes a estas nuevas intenciones de búsqueda.
BERT es un acrónimo de Bidirectional Encoder Representations from Trans-

formers (Representaciones de Codificador Bidireccional de Transformado-
res). Veamos, a continuación, qué significa palabra por palabra:
¿Qué significa ‘Bidirectional’ en BERT?

“Bidirectional” significa que BERT analiza las frases de manera bidireccio-
nal. Es decir, teniendo en cuenta tanto las palabras que están a la izquierda
como las que están a la derecha de una palabra clave central.
Esto le permite al algoritmo establecer relación entre todas ellas como un

conjunto semántico en el que cualquier pequeña variación puede cambiar
el significado de la frase y, por lo tanto, de la intención de la búsqueda.
Ejemplo sobre el uso de la palabra “bank” (banco).

Fuente: Analytics Vidhya
¿Qué significa ‘Encoder’ en BERT?

“Encoder” hace referencia al funcionamiento de un conjunto de capas o blo-
ques de codificadores que conforman a los transformadores (este concepto
lo explicamos más adelante). Dichas capas son las encargadas de codificar
cada grupo de palabras para que estas puedan ser procesadas por todo
el sistema de BERT.
De hecho, un primer codificador es el encargado de leer las palabras ingre-

sadas (input) para generar de ellas una representación matemática. Esta
representación es la que utilizará el algoritmo de allí en adelante. Así, las
representaciones de palabras van atravesando capa por capa de codifica-
dores, los cuales van aplicando sobre ellas sus respectivos procesos.
Pilas de transformadores integradas por codificadores.

Fuente: Jay Alammar
¿Qué significa ‘Representations’ en BERT?

“Representations” se refiere a la representación de una palabra o conjunto
de palabras en un lenguaje matemático entendible por la red neuronal ar-
tificial. Esto se debe a que la IA realmente no puede entender las palabras
en sí, sino a sus representaciones matemáticas.
En este sentido, BERT está diseñado para procesar representaciones bidireccio-

nales de palabras al analizar sus contextos tanto izquierdos como derechos.
¿Qué significa ‘Transformers’ en BERT?

“Transformers” es una arquitectura de RNA creada en 2017 cuyo objetivo
original era mejorar las traducciones de Google. Este modelo de redes neu-
ronales le permite al algoritmo comprender el contexto de una frase de for-
ma mucho más eficiente que los modelos anteriores. Para ello, los transfor-
madores utilizan mecanismos de puntaje de atención que de manera muy
rápida permiten asociar una palabra con otra para generar un contexto.
Retomando el ejemplo de la primera imagen, el significado de la palabra

“bank” se diferencia de todas sus posibles acepciones al identificar el tér-
mino “river” en una oración y “deposit” en la otra. De este modo, el algoritmo
BERT va asignando puntajes de atención para valorar cuándo una palabra
se refiere a un contexto o a otro.
En este documento de Google se explica el funcionamiento técnico detalla-

do del Transformer.
3 ¿Cómo afecta el
modelo BERT al SEO
y qué podemos
hacer?
En promedio, existen 200 factores que Google tiene en cuenta para clasifi-
car las páginas web en las SERP, pero no todos ellos están relacionados con
el análisis del contenido textual. Por ejemplo, en 2018, Google anunció que
sus algoritmos comenzarían a evaluar la velocidad de carga de las pági-
nas como factor de clasificación. En estos casos, la herramienta PageSpeed
Insights se convierte en un gran apoyo para saber dónde, cómo y por qué
debemos optimizar nuestro website, con el objetivo de ganar mejores posi-
ciones en los resultados de búsqueda.
Sin embargo, a pesar de que existen tantos factores de clasificación SEO,

aquellos relacionados con la semántica de los textos figuran entre los más
importantes, tal es el caso de RankBrain y BERT.
Si bien es cierto que BERT no es propiamente un factor de clasificación, tam-

bién es verdad que sí se relaciona de manera directa con varios de ellos, ya
que este sistema es el que comenzará a decirle a los algoritmos qué es lo
que los usuarios necesitan encontrar.
De este modo, dichos algoritmos ejecutan los factores de clasificación más

adecuados con base en la comprensión de la intención de búsqueda, apor-
tada por BERT. Así, Google puede arrojar resultados en las SERP mejor adap-
tados a los intereses de los usuarios.
En este sentido, según cada consulta realizada, los algoritmos de Google

deciden si utilizan RankBrain, BERT u otro método de comprensión para po-
der entenderla, llegando incluso a usar una combinación de distintos méto-
dos cuando es necesario.
Por tanto, crear una página optimizada a nivel SEO para BERT implica que
tengamos en cuenta una serie de aspectos para facilitarle a los algoritmos
el que puedan establecer una rápida relación entre nuestros contenidos y
las intenciones de búsqueda de los usuarios. Esto es porque, en principio,
BERT solo analiza las consultas, no las páginas indexadas.
Aunque, precisamente por ello, mejorar los contenidos en las páginas web es
fundamental para asegurarnos de que estas ganen valor ante Google para
ser asociadas de forma relevante con ciertas intenciones de búsqueda.
De esta manera, algunos de los principales aspectos a tener en cuenta son

los siguientes:
→ Generar contenidos muy claros y coherentes para los usuarios, pues la IA

de Google detecta dicha coherencia y así sabe cuándo un contenido es
entendible y cuándo no.
→ Dejar de centrarnos en keywords cortas, generales y descontextualiza-

das que por sí solas no abordan ningún problema real de los usuarios.
Por ejemplo, la keyword “SEO”.
→ Enfocarnos en contenidos que resuelvan dudas específicas. Por ejemplo

“¿cómo mejorar el posicionamiento SEO?”. Así Google sabe que el conte-
nido sí resuelve un problema.
→ Intentar que los contenidos respondan rápidamente a las consultas de

los usuarios hechas en el buscador. El objetivo es satisfacer la intención
de búsqueda desde el primer momento.
→ Contextualizar muy bien cada tema desarrollado en la página a posicio-

nar. Recordemos que el modelo BERT se centra en contextos (bidireccio-
nalidad), no solo en keywords.
A pesar de estas recomendaciones, es importante destacar que lo único

realmente necesario es crear contenidos que aporten valor y respondan a
las intenciones de búsqueda. No existe un “paso a paso” para optimizacio-
nes de cara a BERT. Esto debemos tenerlo en cuenta ya que se han difundi-
do algunos mitos SEO en torno a esta nueva actualización.
4
¿Por qué BERT
es importante
para los resultados
de búsqueda?
Ben Gomes, vicepresidente de Core Search

de Google, afirma que:
“Nuestro objetivo – Google – es darte la respuesta
exacta que más rápido estás buscando”.
Bajo esta premisa, los algoritmos de clasificación de contenidos se perfilan
cada vez más en premiar las páginas que tengan no solo textos de valor, sino
textos que respondan de manera muy rápida a las intenciones de búsqueda.
En este sentido, BERT es el último avance de Google que más impacta tan-
to a la clasificación de contenidos en las SERP como a la generación de
fragmentos destacados. Así, los resultados de búsqueda se vuelven más
prácticos y eficientes para los usuarios, dando origen incluso a fenómenos
como el zero click.
Un ejemplo de fragmentos destacados y de zero click es el siguiente:
Como verás, ante una intención de búsqueda muy específica, Google arroja
un resultado en modo de fragmento que contiene también una respuesta
muy específica. Así, los usuarios no tienen la necesidad de realizar ningún clic
(zero click) para visitar una página web que intente responder a la consulta.
El funcionamiento de los fragmentos destacados permite a los usuarios con-

seguir respuestas más directas e inmediatas. Para ello, BERT analiza no solo las
palabras clave, sino también las preposiciones y otros elementos lingüísticos,
con lo cual ayuda a Google a perfeccionar la creación de dichos fragmentos.
Dawn Anderson, especialista SEO y experta en

algoritmos de búsqueda, afirma lo siguiente:
“La palabra ‘rosa’ significa varias cosas, pero es
exactamente la misma palabra. El contexto debe
acompañar a la palabra; de lo contrario, la palabra
no significa nada".
De este modo, términos como: ante, con, desde, durante, entre, hacia, para,
sobre... se vuelven esenciales para darle contexto a las keywords. Con esto,
Google mejora significativamente la comprensión de las búsquedas realiza-
das y el orden de aparición en las SERP de los contenidos indexados.
Por lo tanto, la dinámica entre las consultas de usuarios y las respuestas de

Google se convierte en una especie de conversación natural y casi fluida
entre humano-máquina.
Aunque existen ciertas directrices para la generación de fragmentos, lo mejor

que podemos hacer los profesionales del marketing es crear contenidos con-
versacionales y valiosos. De este modo, ante consultas del tipo “Documentos
para trabajar en Estados Unidos”, ya sabemos que podríamos crear textos en
forma de respuesta conversacional tipo “Para trabajar en Estados Unidos…”.
Sin embargo, esto no significa que debamos empezar a tratar las preposiciones
como palabras clave. ¡Mucho cuidado con ello! El uso inadecuado de cualquier
elemento lingüístico le resta naturalidad a los contenidos, lo cual ya es fácil-
mente reconocible por Google mediante BERT y otros métodos de análisis.
5
¿Por qué BERT es
un aliado y
no un enemigo
de los profesionales
del marketing?
Las actualizaciones en los algoritmos de Google suelen traer como conse-
cuencia que muchos websites pierden sus posiciones en los resultados de
búsqueda. Sin embargo, de manera lógica, así como hay sites que bajan, hay
otros que suben. BERT no es la excepción, esta actualización ha causado y
seguirá causando importantes cambios de posicionamiento en las SERP.
¿Esto qué significa para los profesionales del marketing?
Significa que, gracias a BERT, Google empezará a mostrar nuestras páginas

web a los usuarios que más nos interesan y para los cuales hemos estado
generando contenidos de manera específica. Aunque, por otro lado, deja-
rá de mostrar nuestros contenidos a otra cierta cantidad de usuarios, que
realmente pueden no ser de nuestro interés.
Así, a pesar de que nuestros niveles de tráfico disminuyan, podremos con-

seguir visitas de mejor calidad, lo cual se traduce en aumento de conversio-
nes y en reducción de las tasas de rebote.
Además, este cambio en el algoritmo potencia el factor de clasificación de

Google en cuanto a actualidad o “nivel de frescura” para la generación de
fragmentos destacados.
Tomando un ejemplo sobre el estreno de la tercera temporada de la serie

Stranger Things, tenemos lo siguiente:
→ A finales del 2018 no se había publicado ninguna información sobre la

fecha exacta del estreno, por lo que, al hacer la consulta en Google, un
fragmento destacado indicaba que el estreno sería “en algún momento
del 2019”.
→ Luego, a comienzos del 2019, cuando la información ya se había publica-

do y al hacer exactamente la misma consulta, un fragmento destacado
indicaba que el estreno sería el 4 de julio de 2019.
Fuente: Business Insider
Este factor de clasificación no pertenece propiamente a BERT. Sin embargo,

el nivel de comprensión de las consultas aportado por BERT sí que le facilita
bastante al algoritmo el poder identificar de manera precisa qué tipo de
información o de fecha está buscando un usuario.
Esto nos incentiva a los profesionales del marketing a mantener nuestros

contenidos actualizados para poder llegar de manera directa a aquellos
usuarios que, precisamente, buscan información lo más actualizada posible.
A través de esto podemos desarrollar una muy importante ventaja compe-
titiva en cuanto a SEO se trata.
Ejemplos de resultados de
Google con el algoritmo BERT
Según una descripción de Larry Page, cofundador de Google, el motor de

búsqueda ideal es aquel que entiende de manera perfecta a qué se refiere
un usuario con su consulta y le responde a este con un resultado exacto de
lo que necesita encontrar. Por este motivo, BERT es un gran hito en los avan-
ces de los algoritmos de Google.
Algunos ejemplos reales publicados por Pandu Nayak para comprender

mejor el impacto de esta actualización son los siguientes:
→ Ejemplo 1 de búsqueda: 2019 brazil traveler to usa need a visa. Fuente:

Blog de Google.
Antes de BERT, la preposición “to” en la frase “2019 brazil traveler to usa need
a visa” era ignorada por el algoritmo, con lo cual el resultado de búsqueda se
relacionaba con que los ciudadanos estadounidenses pueden viajar a Brasil
sin una visa. Después de BERT, el algoritmo le otorga valor a la preposición
“to” y gracias a esta es capaz de entender el sentido de la oración, con lo
cual ahora el resultado de búsqueda se relaciona con viajeros brasileños que
quieren viajar a EE.UU., y desean obtener información sobre la visa.
→ Ejemplo 2 de búsqueda: do estheticians stand a lot at work. Fuente: Blog

de Google
Antes de BERT, el algoritmo interpretaba que “stand” en la frase “do esthe-

ticians stand a lot at work” era igual que “stand-alone”, con lo cual el resul-
tado de búsqueda era sobre el trabajo de esteticistas autónomos. Después
de BERT, el algoritmo reconoce el significado y el contexto de “stand”, con lo
cual ahora brinda resultados relacionados con el trabajo agotador de los
esteticistas.
→ Ejemplo 3 de búsqueda: Can you get medicine for someone pharmacy.

Fuente: Blog de Google
Antes de BERT, la expresión “for someone” no era reconocida dentro de la

frase “Can you get medicine for someone pharmacy”, con lo cual el resultado
de búsqueda era muy general sobre la obtención de recetas farmacéuticas.
Después de BERT, el sistema entiende todo el contexto de la frase gracias a
que reconoce la expresión “for someone”, con lo cual el nuevo resultado de
búsqueda es sobre si una persona conocida de un paciente puede adquirir
medicamentos con la receta de este.
→ Ejemplo 4 de búsqueda: math practice books for adults. Fuente: Blog de

Google
Antes de BERT, el algoritmo interpretaba la expresión “for adults” como “jó-

venes”, por lo que el resultado de búsqueda era sobre libros de matemáti-
cas para niños mayores. Después de BERT, el sistema contextualiza mejor la
expresión “for adults” y reconoce que se refiere a personas adultas, con lo
cual el resultado de búsqueda se ajusta a libros de matemáticas acorde a
estas personas.
Como vemos, los cambios en los resultados de búsqueda son bastante sig-
nificativos. Sin embargo, aún le queda a Google un largo camino por recorrer.
Tal como dice Pandu Nayak sobre BERT:

"Todavía queda mucho trabajo por delante. Por
ejemplo, la palabra 'bajo' significa muchas cosas
(puede ser un adjetivo o un instrumento musical).
Hay muchos significados para una sola palabra. Por
eso es vital que se entienda el contexto para poder
entender el significado preciso del término".
6
¿Cómo funciona el
natural language
processing (NLP) en
BERT?
Como explicamos anteriormente, el Natural Language Processing o Procesa-

miento del Lenguaje Natural es la rama de la inteligencia artificial sobre la cual
se han estado desarrollando las últimas actualizaciones de los algoritmos de
Google, especialmente en el modelo BERT.
El NLP no solo permite que el sistema pueda interpretar errores ortográficos

en las búsquedas de los usuarios, sino también hace que el algoritmo sea
capaz de entender las distintas acepciones de una misma palabra. Gracias
a ello, Google ha mejorado los resultados en más del 30% de las búsquedas
en varios idiomas.
Ejemplo del reconocimiento de las acepciones de la palabra “change”

Fuente: Google Search
Sin embargo, aunque BERT hace referencia a una actualización en los algorit-
mos de Google, lo cierto es que este sistema es algo completamente aparte
de dichos algoritmos.
Tal como explica Dawn Anderson en su extenso trabajo sobre el Natural Lan-
guage Understanding (NLU) en BERT y otros modelos, el Bidirectional Enco-
der Representations from Transformers es el primer sistema de aprendizaje
no supervisado y profundamente bidireccional para el preentrenamiento de
modelos de NLP.
Es decir, BERT se trata de un sistema de código abierto que cualquier persona

u empresa puede utilizar para entrenar algoritmos de procesamiento de len-
guajes naturales, bajo esquemas de análisis bidireccional y de aprendizaje
automático no supervisado.
Este sistema puede ser utilizado para múltiples tareas de natural language
processing, por ejemplo:
→ Análisis de sentimientos, al agregar una capa de clasificación en la parte

superior de la salida del transformador. Aquí puedes acceder a los recur-
sos para el uso de BERT en un análisis de sentimiento para la clasificación
del discurso de odio en Twitter.
→ Respuestas a preguntas, al entrenar un modelo de NLP para que al re-

cibir una pregunta sobre una secuencia de texto, marque la respuesta
correcta en dicha secuencia.
→ Reconocimiento de entidades nombradas (NER), al hacer que el sistema

marque las entidades (persona, organización, fecha, etc.) que aparecen
en una secuencia de texto.
7
Modelos de
procesamiento de
lenguajes naturales
antes de BERT
Para llegar a BERT, a lo largo de la historia se han desarrollado frameworks de

NLP que han ido resolviendo problemas relacionados con el entendimiento
del lenguaje natural. Cada modelo, poco a poco, ha aportado ciertos funda-
mentos que han permitido, hoy día, la creación de lo que conocemos como
Bidirectional Encoder Representations from Transformers.
Por ejemplo, en 2013, un equipo de Google diseñó el modelo de redes neuro-

nales artificiales llamado Word2vec. Este modelo se basa en la técnica Word
Embeddings para convertir las palabras en vectores matemáticos y así poder
establecer relaciones contextuales entre ellas. De modo similar, en la Universi-
dad de Stanford se desarrolló el modelo GloVe.
Funcionamiento de Word2vec
Fuente: Towards Data Science
Luego, para resolver el problema de la polisemia dentro del campo del NLP,
se desarrolló el modelo del lenguaje ELMo. En este modelo el vector de cada
palabra se genera según su contexto dentro de cada frase específica. Por
tanto, la representación de las palabras ya comienza a contextualizarse de
manera efectiva.
ULMFiT, por su parte, es un framework mucho más avanzado que puede en-
trenar modelos de lenguaje con muchos menos datos que los acostumbra-
dos y aun así brindar excelentes resultados en múltiples tareas de clasifica-
ción de contenidos.
Finalmente, el modelo GPT (versión 2) desarrollado por OpenAI ha sido uno

de los más potentes jamás creados. Sus capacidades en cuanto a NLP van
más allá de la clasificación de contenidos, pudiendo hacer razonamientos
de sentido común, establecer similitudes semánticas y desarrollar una com-
prensión lectora.
El modelo GPT se basa en la arquitectura Transformer y en los mecanismos

de atención, los cuales como explicamos anteriormente, son aspectos clave
para el funcionamiento de BERT. De esta manera, llegamos a BERT, un modelo
inspirado en los atributos desarrollados y validados por el muy potente GPT 2.
La relación de Python, PyTorch y TensorFlow

con Google BERT
TensorFlow es un sistema de aprendizaje automático desarrollado por el
equipo de Google Brain y lanzado públicamente en 2015. Este sistema de IA
es de código abierto y su principal lenguaje de programación es Python.
TensorFlow es el responsable del funcionamiento de RankBrain, y actualmen-

te es el que está detrás de BERT en cuanto a los algoritmos de Google Search
se trata.
Sin embargo, como explicamos anteriormente, por ser BERT un modelo de

código abierto, este puede ser utilizado de igual modo con PyTorch, el siste-
ma de machine learning desarrollado por Facebook (también en Python) y el
equivalente a TensorFlow.
En este sentido, los desarrolladores pueden utilizar Pytorch, TensorFlow o

cualquier otro para crear sus propios motores de búsqueda, clasificadores
de texto binario o clasificadores de intenciones en el marco del modelo de
Representaciones de Codificador Bidireccional de Transformadores.
ALBERT o ‘Lite BERT’ y RoBERTa,

¿sucesores de BERT?
Google Research y Toyota Research Institute han lanzado ALBERT, un nuevo

State-of-the-Art que supera a BERT en varias tareas de NLP y puntos de
referencia (GLUE, SQuAD y RACE). Según el ALBERT paper, esta nueva versión
reduce el consumo de memoria y aumenta la velocidad de entrenamiento,
con lo cual se pueden crear modelos que escalan mucho mejor que con la
versión original de BERT.
Por otro lado, se encuentra RoBERTa, un modelo creado por el equipo de Fa-
cebook Artificial Intelligence, basado en BERT pero desarrollado sobre el siste-
ma PyTorch. Según el RoBERTa paper, este modelo supera a BERT en las tareas
MNLI, QNLI, RTE, STS-B y RACE.
Sin embargo, aunque existan nuevos modelos más potentes y eficientes como
Lite BERT (ALBERT) y RoBERTa, debemos tener en cuenta que BERT sigue siendo
el sistema implementado sobre los algoritmos de Google Search. Por tanto, en
cuanto a clasificación de contenidos en las SERP se trata, no podemos hablar
de “sucesores de BERT”, ya que los nuevos avances open source se centran
en otras áreas de aplicación.
Preentrenamiento del modelo

según el BERT paper
Según el BERT paper, este sistema ha sido preentrenado utilizando 2.500 mi-
llones de palabras de Wikipedia (en inglés) más un dataset de libros de 800
millones de palabras, dicho dataset fue “Aligning Books and Movies: Towards
story-like visual explanations by watching movies and reading books”.
Gracias a ello, este modelo preentrenado se puede ajustar con una única
capa de salida adicional para crear nuevos modelos capaces de procesar
múltiples tareas de Natural Language Processing.
BERT es considerado State-of-the-Art en cuanto a preentrenamiento para el

procesamiento de lenguajes naturales, ya que obtuvo resultados innovadores
en once tareas especializadas de NLP, las cuales fueron:
1. GLUE (General Language Understanding Evaluation)
→ MNLI (Multi-Genre Natural Language Inference)
→ QQP (Quora Question Pairs)
→ QNLI (Question Natural Language Inference)
→ SST-2 (Stanford Sentiment Treebank)
→ CoLA (Corpus of Linguistic Acceptability)
→ STS-B (Semantic Textual Similarity Benchmark)
→ MRPC (Microsoft Research Paraphrase Corpus)
→ RTE (Recognizing Textual Entailment)
→ WNLI (Winograd Natural Language Inference)

2. SQuAD v1.1 y v2.0 (Stanford Question Answering Dataset)
3. SWAG (Situations With Adversarial Generations)
De estos procesos, resultaron dos modelos BERT:
→ BERT_base, arquitectura “pequeña” de 110 millones de parámetros.
→ BERT_large, arquitectura de 345 millones de parámetros (la más grande

de su tipo).
8
¿La actualización
BERT del algoritmo
funciona en
español?
Por el momento (noviembre de 2019), BERT solo afecta a la clasificación de

contenidos ante búsquedas realizadas en inglés y dentro de Estados Uni-
dos. El equipo de Google Search ha expresado que la actualización se irá
extendiendo gradualmente hacia otros países e idiomas, comenzando por el
coreano, el hindi y el portugués.
Se espera que la implementación hacia el resto de lenguas se vaya aplican-

do de forma cada vez más rápida, ya que una característica de estos mode-
los basados en redes neuronales artificiales es que pueden aprender de un
idioma y luego utilizar ese mismo aprendizaje con idiomas diferentes.
En cuanto a fragmentos destacados se trata, BERT sí está funcionando en to-

dos los países donde dichos fragmentos están disponibles, siendo los idio-
mas coreano, hindi y portugués donde precisamente el equipo de Google
Search ha notado mejoras más significativas.
Finalmente, puedes hacerle seguimiento a las modificaciones más importan-

tes de Google Search mediante este Historial de actualizaciones de algorit-
mos de Google, en el cual poco a poco se van publicando los cambios con-
firmados y no confirmados oficialmente.
Desde InboundCycle esperamos que toda esta información te sea de gran

ayuda. Sabemos que enfrentar las grandes actualizaciones en los algoritmos
de Google suele ser todo un desafío a nivel de SEO. Sin embargo, queremos
enseñarte que no se trata de una lucha entre tú y Google. Todo lo contrario,
si aplicas las buenas prácticas SEO, los algoritmos serán tus mejores aliados.
Por ello, te obsequiamos con los siguientes recursos que te serán bastante úti-
les para mejorar tus técnicas de posicionamiento. Elige el que mejor se adap-
te a tus necesidades:
→ 31 claves para hacer una auditoría SEO de tu blog.
→ ¿Cómo buscar y elegir las palabras clave para tu web?
→ Los secretos del SEO para ocupar las primeras posiciones en los buscadores.
→ ¿Cómo aplicar el SEO en tu estrategia de marketing online?

— 30
¿Quieres recibir una llamada personalizada

de 30 minutos para analizar tu estrategia
de inbound marketing?
SO L I C I TA U N A L L A M A DA

Google BERT para Responsables de Marketing

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Google BERT para Responsables de Marketing

Cargado por

Copyright:

Formatos disponibles

Análisis

— 2 Lead nurturing y Lead scoring

1 ¿Cuáles son los cambios de algoritmo

2 ¿Qué es BERT de Google?

3 ¿Cómo afecta el modelo BERT al SEO

4 ¿Por qué BERT es importante para los

5 ¿Por qué BERT es un aliado y no un

6 ¿Cómo funciona el natural language

8 ¿La actualización BERT del algoritmo

¿Cómo funciona y por qué

La mayoría de las actualizaciones son casi imperceptibles para los usuarios,

La gran mayoría de las modificaciones en los algoritmos de Google son a

Sin embargo, todos podemos reconocer una serie de importantes actualiza-

→ Google Hummingbird (2013): algoritmo que realiza un análisis semántico

El 2019 es un año que no se queda atrás en cuanto a algoritmos se trata.

Técnicamente, BERT es un modelo de Redes Neuronales Artificiales (RNA)

En el GitHub de BERT puedes acceder a todos sus recursos técnicos

Esta técnica fue creada por Google en 2018 e implementada en su algorit-

Con esta actualización, BERT se convierte en la segunda implementación de

Uno de los principales problemas que ayuda a resolver esta actualización

BERT es un acrónimo de Bidirectional Encoder Representations from Trans-

¿Qué significa ‘Bidirectional’ en BERT?

Esto le permite al algoritmo establecer relación entre todas ellas como un

Ejemplo sobre el uso de la palabra “bank” (banco).

¿Qué significa ‘Encoder’ en BERT?

De hecho, un primer codificador es el encargado de leer las palabras ingre-

Pilas de transformadores integradas por codificadores.

¿Qué significa ‘Representations’ en BERT?

En este sentido, BERT está diseñado para procesar representaciones bidireccio-

¿Qué significa ‘Transformers’ en BERT?

Retomando el ejemplo de la primera imagen, el significado de la palabra

En este documento de Google se explica el funcionamiento técnico detalla-

Sin embargo, a pesar de que existen tantos factores de clasificación SEO,

Si bien es cierto que BERT no es propiamente un factor de clasificación, tam-

De este modo, dichos algoritmos ejecutan los factores de clasificación más

En este sentido, según cada consulta realizada, los algoritmos de Google

De esta manera, algunos de los principales aspectos a tener en cuenta son

→ Generar contenidos muy claros y coherentes para los usuarios, pues la IA

→ Dejar de centrarnos en keywords cortas, generales y descontextualiza-

→ Enfocarnos en contenidos que resuelvan dudas específicas. Por ejemplo

→ Intentar que los contenidos respondan rápidamente a las consultas de

→ Contextualizar muy bien cada tema desarrollado en la página a posicio-

A pesar de estas recomendaciones, es importante destacar que lo único

Ben Gomes, vicepresidente de Core Search

Un ejemplo de fragmentos destacados y de zero click es el siguiente:

El funcionamiento de los fragmentos destacados permite a los usuarios con-

Dawn Anderson, especialista SEO y experta en

Por lo tanto, la dinámica entre las consultas de usuarios y las respuestas de

Aunque existen ciertas directrices para la generación de fragmentos, lo mejor

¿Esto qué significa para los profesionales del marketing?

Significa que, gracias a BERT, Google empezará a mostrar nuestras páginas

Así, a pesar de que nuestros niveles de tráfico disminuyan, podremos con-

Además, este cambio en el algoritmo potencia el factor de clasificación de

Tomando un ejemplo sobre el estreno de la tercera temporada de la serie

→ A finales del 2018 no se había publicado ninguna información sobre la

→ Luego, a comienzos del 2019, cuando la información ya se había publica-

Fuente: Business Insider

Este factor de clasificación no pertenece propiamente a BERT. Sin embargo,

Esto nos incentiva a los profesionales del marketing a mantener nuestros

Según una descripción de Larry Page, cofundador de Google, el motor de

Algunos ejemplos reales publicados por Pandu Nayak para comprender

→ Ejemplo 1 de búsqueda: 2019 brazil traveler to usa need a visa. Fuente:

→ Ejemplo 2 de búsqueda: do estheticians stand a lot at work. Fuente: Blog