Big Data

BDY7101

1
Scala y Json

2
 Scala y Json

Presentación
• Esta semana se hará un análisis de datos con Spark desde archivos
JSON.
• ¿Qué es JSON?
JSON (acrónimo de JavaScript Object Notation, “notación de objeto de
JavaScript”) es un formato de texto sencillo para el intercambio de
datos (Fuente: https://es.wikipedia.org/wiki/JSON)

3
 Scala y Json

Presentación
• Formato de un archivo JSON (fuente: https://www.json.org/json-en.html ):

4
 Scala y Json

Presentación
• Ejemplo de un archivo JSON (fuente: shorturl.at/dqyJ7):

5
 Scala y Json

Paso 1 Análisis de datos con Spark en Docker

Se levanta el Master de Spark.

6
 Scala y Json

Paso 2 Análisis de datos con Spark en Docker

Se levanta el esclavo de Spark.

7
 Scala y Json

Paso 3 Análisis de datos con Spark en Docker

Se cambia a la carpeta bin.

8
 Scala y Json

Paso 4 Análisis de datos con Spark en Docker

Se ejecuta el Shell de Spark.

9
 Scala y Json

Paso 4 Análisis de datos con Spark en Docker

Se entra a la consola del lenguaje Scala que utiliza Spark.

10
 Scala y Json

Paso 5 Análisis de datos con Spark en Docker

Copiar el archivo JSON a la carpeta datos: primero se copia a C:\ y luego
de ahí a la carpeta bin en Spark:

11
 Scala y Json

Paso 6 Análisis de datos con Spark en Docker

Se verifica si el archivo está correcto:

12
 Scala y Json

Paso 7 Análisis de datos con Spark en Docker

Crear y usar un DataFrame:
val df = spark.read.json("users.json")
df.printSchema()

13
 Scala y Json

Paso 8 Análisis de datos con Spark en Docker

Mostrar los registros del DataFrame:
df.show()
df.groupBy(“age”).count.show()

14
 Entonces … en resumen

¿Qué hemos aprendido?

¿Qué dudas quedaron?
¿Qué viene ahora?

15