Facultad de Ingeniería en Electricidad y

Computación (FIEC)

Sistemas distribuidos y computación en la nube

Reporte Práctica # 3: Databricks-spark
Paralelo: 107

Alumno: Alvarado Rodriguez Eddo Alexis

Objetivos

1. Conocer el funcionamiento base de spark.

2. Explorar la interfaz de creación y administración de un clúster.
3. Comprender la ejecución de programas en spark y análisis de resultados.

Materiales y Herramientas

• Una (1) máquina

• Conexión a internet
• Un correo institucional

Procedimiento
Paso 1: Registro

Paso 2: Explorar la plataforma

Pregunta 1: ¿Qué otras opciones existen en las zonas disponibles para crear el
clúster?
US-West-2a y US-West-2b

Pregunta2: Agregue una captura de la pantalla que se despliega y describa el

contenido.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

Es un detalle del comando que se haya ejecutado y si el proceso se ejecutó con normalidad.

Pregunta 3: Realizar captura de la pantalla, analizar los Jobs y describir la

funcionalidad de esta opción.

Es el resumen vs el tiempo de todas las secuencias que se han creado o ejecutado

dentro del cluster.

Pregunta 4: Realice captura de la celda 20 al final del notebook, donde se visualice

su correo y el clúster en el cual ejecuto el notebook.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

Pregunta 5: Describa paso a paso que se realizó en este notebook, que tareas, métodos de ML y
resultados se obtuvieron, no es necesario que sea un experto en ML para esto, solo interprete lo que
mas pueda del código. Puede incluir los resultados del UI, gráficos de la ejecución etc.

Se importan todas las librerías necesarias para el notebook.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

Se cargan los datos en los dataframe de entrenamiento según el formato.

Formateamos automáticamente y los organiza para el entrenamiento.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

Clasifica el contexto de una ejecución de MLflow, que registra automáticamente el modelo entrenado
y muchas métricas y parámetros asociados.

Y con esto logramos obtener la precisión del modelo.

Se entrena un nuevo modelo para mejorar la precisión de nuestro modelo.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

En esta sección podemos observar como cargar el modelo entrenado en una determinada
ejecución.

En esta sección ya es como tal el entrenamiento con datos reales, es decir los obtenidos de los
archivos enviados. Por medio de los parámetros.

Sistemas distribuidos y computación en la Nube PAO-1 2022

 Facultad de Ingeniería en Electricidad y
Computación (FIEC)

Y aquí podemos ver la precisión y los modelos de nuestro ultimo modelos creado y sus
valores de precisión,

Conclusiones y Recomendaciones

Describir el aprendizaje, cual fue la mayor dificultad en la ejecución y que le causó

confusión.

En este laboratorio se adquirieron los conocimientos de creación de un clouster para almacenar

bases de datos y servicios en la nube para ser accedidos por diferentes usuarios. Además de
brindarnos un registro de todos los procesos realizados. Esto me servirá en mi trabajo para
comprender a profundidar los containers que se encuentran alojados en cloursters. Para la parte
de ML me sirve para comprender en practica como se crea sistema que pueda realizar
predicciones por medio del uso de ML.

Sistemas distribuidos y computación en la Nube PAO-1 2022