Nombre

Sigla Asignatura BDY7101 Big Data Tiempo 2h

Asignatura

Experiencia de Aprendizaje N° 2 Conociendo y aplicando el mundo Hadoop

Actividad N° 2.2 Paso a Paso con AWS y Hadoop

Nombre del Recurso Didáctico 2.2.3 Paso_a_Paso_AWS-Hadoop

1. APRENDIZAJES E INDICADORES DE LOGRO

Indicadores de logro
Unidades de Competencia

Administra el volumen, la diversidad y

Sigue los procedimientos establecidos en el uso de las
complejidad del almacenamiento de datos para
herramientas del ecosistema Hadoop y/o Spark, para
gestionar y extraer valor de acuerdo a los
lograr el mayor desempeño de éstas.
requerimientos de la organización.

2. CREANDO UNA MÁQUINA LINUX EN AWS E INSTALANDO DOCKER

Ingresar a la plataforma AWS y seleccionar EC2

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Luego Lanzar la Instancia

Seleccionar UBUNTU Server 20.04

Seleccionar 04 CPU y 16 GB De memoria principal (Memory)

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

No hacer cambios

Aumentar espacio de disco a 30 GB

Agregar etiqueta Name y valor Hadoop

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Agregar grupo de seguridad con nombre Hadoop
Además, agregar regla All TCP, en source seleccionar Anywhere

Luego de Launch Instance. Crear en ventana emergente un nuevo Key pair. Asigne como nombre
Hadoop
Posteriormente, descargue la nueva Key Pair y Seleccione Launch Instance

Una vez que la instancia este en EJECUCION ( color verde), seleccione Conectar

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Con los datos que se muestran, abra una ventana CMD, ingrese a la carpeta donde se descargó el
archivo PEM ( Key Pair), luego ejecute el comando de conexión SSH.
Para este ejemplo es : ssh -i "Hadoop.pem" ubuntu@ec2-54-152-5-223.compute-1.amazonaws.com

Primero preparamos nuestra nueva instancia para instalar Docker. El primer paso es actualizar los
paquetes de instalación de UBUNTU.
Una vez dentro de la instancia, ejecute el comando: sudo apt update

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Luego proceda a ejecutar el comando : sudo apt upgrade

Ahora instalaremos Docker

Ejecute el siguiente comando para instalar Docker en la nueva instancia
sudo apt-get install curl apt-transport-https ca-certificates software-properties-common

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Luego ingrese : curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

Y a continuación ingresamos : sudo add-apt-repository "deb [arch=amd64]

https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable"

Nuevamente actualizamos: sudo apt update

Y finalmente instalamos Docker con : sudo apt install docker-ce

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Ejecutando el siguiente comando se podrá visualizar que la instalación fue correcta:
sudo systemctl status Docker

Para salir de esta vista ejecute dos puntos y luego q.

Ahora instalaremos Docker-Compose

Para instalar Docker-Compose solo debemos ejecutar el siguiente comando: sudo curl -L
"https://github.com/docker/compose/releases/download/1.26.0/docker-compose-$(uname -s)-
$(uname -m)" -o /usr/local/bin/docker-compose

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Luego otorgamos los permisos necesario a Docker-compose con el siguiente comando : sudo chmod
+x /usr/local/bin/docker-compose

Instalando GIT

Verificamos nuestra versión de git instalada con el siguiente comando: git –version

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Instalando Hadoop (Hadoop-Hive-HDFS-Spark)
Primero creamos un directorio en nuestra instancia, dentro del clonaremos un repositorio donde
esta almacenado un contenedor Docker que nos proveerá de HDFS y otras cosas más.
Crear directorio con : mkdir hadoop
Luego ingresar a dicho directorio con : cd hadoop

Una vez dentro, clonamos el contendor Docker con el siguiente comando: git clone
https://github.com/m-semnani/bd-infra.git

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Ingresamos al directorio bd-infra con el comando cd

Finalmente ejecutamos el contenedor de Hadoop con el siguiente comando : docker-compose up -d

Con esto completamos la instalación de Hadoop – HDFS -Spark -Hive

Podemos comprobar la correcta ejecución de la siguiente forma. En un browser ingresar a
http://localhots: <número de puerto>
Donde <número de puerto> puede ser:
50070 ( con esto visualizara el namenode)
8080 (Spark Master)
8081 (Spark Worker)
8888 (Hue. Se solicitará la creación de una cuenta. Ingrese admin como usuario y admin como password)
18630 (StreamSets. Utilice admin / admin)
19090 (zeppelin)
Para Hive: Este producto no cuenta con una interfaz web, para su ejecución deberá ejecutar los siguientes
comando en la consola
sudo docker exec -it hive-server bash

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Luego ingrese al directorio donde está alojado Hive, para esto deberá ejecutar el comando :
cd /opt/hive/bin
Una vez dentro de dicho directorio, ejecute Hive con el siguiente comando ./hive

Recuerde, si usted utilizó una instancia AWS, deberá verificar cual es la IP Pública de su máquina.
Así deberá reemplazar localhost por dicho número.

Para trabajar con HDFS, lo primero que realizamos es la conexión con el namenode. Para hacer esto
deberá ejecutar el siguiente comando en la consola de su instancia
sudo docker exec -it namenode bash
Luego podrá ejecutar su primer comando en HDFS.
Para visualizar el contenido del namenode escriba: hdfs dfs -ls /
Para crear un directorio
hdfs dfs -mkdir /prueba

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez

Para crear un archivo
hdfs dfs -touchz /prueba/ejemplo.txt

Lo que acabamos de realizar también lo podrá ver en la interfaz web (puerto 50070)

Docente Diseñador Gerardo Cerda Neumann Revisor metodológico Manuela Jiménez