PySpark Sentiment Analysis on Google Dataproc (A Step-by-Step Tutorial)

Nancy Carolina Animas Treviño

En este reporte se abordará el artículo "PySpark Sentiment Analysis on Google Dataproc - A Step-
by-Step Tutorial" escrito por Ricky Kim y publicado en "Towards Data Science". El artículo ofrece un
tutorial detallado sobre cómo realizar un análisis de sentimientos utilizando PySpark en la
plataforma de Google Dataproc.
El autor comienza compartiendo su experiencia al explorar la plataforma de Google Cloud Platform
(GCP) a través de un curso especializado en Coursera sobre Ingeniería de Datos en Google Cloud
Platform. Aunque el curso proporcionó una base sólida de conocimientos, el autor sintió la
necesidad de aplicar lo aprendido en proyectos propios para afianzar su comprensión.
El artículo se enfoca en un proyecto específico: entrenar un modelo de análisis de sentimientos
utilizando PySpark en Google Dataproc. El autor elige este proyecto debido a su interés en el
análisis de sentimientos y su experiencia previa en el tema. Además, le entusiasma la facilidad y
rapidez con la que se puede configurar un clúster en Google Dataproc.
El tutorial proporciona una guía detallada paso a paso para implementar el proyecto. A
continuación, se resumen los principales pasos descritos en el artículo:
Requisitos: El autor menciona los requisitos previos, como tener instalado Homebrew y Git, así
como crear una cuenta de prueba gratuita en GCP para acceder a los servicios.
Habilitar las API: Para utilizar los servicios de GCP en el proyecto, es necesario habilitar las API de
Cloud Dataproc, Compute Engine y Cloud Storage. El autor explica cómo habilitar estas API desde
la biblioteca de APIs y servicios de GCP.
Instalar Google Cloud SDK: El autor proporciona instrucciones para instalar Google Cloud SDK,
que permite interactuar con los servicios de GCP desde la línea de comandos.
Crear un bucket: Se explica cómo crear un bucket en Google Cloud Storage desde la consola web
o utilizando comandos en Google Cloud SDK. Este bucket se utilizará para almacenar los datos y
resultados del proyecto.
PySpark Sentiment Analysis on Google Dataproc (A Step-by-Step Tutorial)

Nancy Carolina Animas Treviño

Clonar el repositorio de Git: El autor proporciona el enlace para clonar el repositorio de Git que
contiene los archivos necesarios para el proyecto.
Preparar los datos: Se describen los pasos para preparar los datos de entrenamiento y prueba
mediante un script Bash y un script Python para dividir los datos. El conjunto de datos utilizado es
"Sentiment140", que consiste en 1.6 millones de tweets etiquetados.
Crear un clúster en Google Dataproc: Se explica cómo crear un clúster en Google Dataproc
utilizando la consola web o comandos en Google Cloud SDK. El clúster se configura con una
cantidad específica de nodos de trabajo y se elige la región adecuada.
PySpark Sentiment Analysis on Google Dataproc (A Step-by-Step Tutorial)

Nancy Carolina Animas Treviño

Enviar el trabajo de Spark: Se muestra cómo enviar el trabajo de entrenamiento de Spark utilizando
el script Python proporcionado en el repositorio de Git. El autor explica cómo cargar el script en
Cloud Storage y luego enviar el trabajo a través de la consola web o comandos en Google Cloud

SDK.
Verificar los resultados: El autor indica cómo verificar los resultados del trabajo de Spark
accediendo al bucket de Cloud Storage y examinando los archivos generados.
En este reporte se ha presentado un resumen del artículo "PySpark Sentiment Analysis on Google
Dataproc - A Step-by-Step Tutorial". El tutorial proporciona una guía detallada sobre cómo realizar
un análisis de sentimientos utilizando PySpark en Google Dataproc. A través de una serie de
pasos, el autor explica cómo configurar el entorno, preparar los datos, crear un clúster en Google
Dataproc y enviar un trabajo de Spark para entrenar un modelo de análisis de sentimientos.
Este tutorial ofrece una oportunidad para aplicar los conocimientos adquiridos en un curso
especializado sobre Google Cloud Platform y promueve la creatividad al permitir a los lectores
implementar sus propios proyectos de análisis de sentimientos. Además, destaca la eficacia y
facilidad de uso de Google Dataproc para ejecutar clústeres de Spark y Hadoop en la nube.
En conclusión, el artículo proporciona una guía detallada y práctica para implementar un proyecto
de análisis de sentimientos utilizando PySpark en Google Dataproc, permitiendo a los lectores
adquirir habilidades prácticas en el campo del procesamiento de datos y la inteligencia artificial.