B IG D A TA

BIG DATA
• BIG DATA SE UTILIZA PARA MAXIMIZAR LA EFICIENCIA Y AUMENTAR LOS INGRESOS EN LOS PROCESOS DE
FABRICACIÓN, VENTAS, RRHH, EXPERIENCIA DEL CLIENTE, ENTRE OTROS.

• EXISTEN PLATAFORMAS COMO ORACLE QUE DENTRO DE LA ADMINISTRACIÓN DE DATOS ABSORBEN

DATOS DE CUALQUIER TAMAÑO PARA CUALQUIER TIPO DE APLICACIÓN EN CUALQUIER TIPO DE ENTORNO.

• EL RESULTADO ES LA COMBINACIÓN COHESIONADA DE ESCALABILIDAD Y EFICIENCIA CON COMPONENTES

DE BIG DATA CON EL FIN DE OPTIMIZAR LA INFRAESTRUCTURA SUBYACENTE.
TECNOLOGÍAS DE BIG DATA: INTEGRACIÓN

• INTEGRACIÓN DE BIG DATA: PROPORCIONA TODOS LOS DISTINTOS TIPOS DE DATOS A LA EMPRESAS, YA
SEAN DATOS EN REPOSO O EN MOVIMIENTO Y DE CARÁCTER INTERNO O EXTERNO.

• LA INTEGRACIÓN SE ENCARGA DE ASIMILAR, ADMINISTRAR E IMPLEMENTARLAS PARA LAS NECESIDADES

DE SERVICIO DE LA EMPRESA. (CAPACIDADES DE TRANSMISIÓN DE DATOS EN TIEMPO REAL, CREACIÓN DE
APLICACIONES DE PROCESAMIENTO DE FLUJO DE EVENTOS EN TIEMPO REAL Y OBTENCIÓN DE
INFORMACIÓN BASADA EN DATOS).
TECNOLOGIAS DE BIG DATA: ADMINISTRACIÓN

• ADMINISTRACIÓN DE BIG DATA: MAXIMIZA LOS RECURSOS PARA ORGANIZACIONES DE TODOS LOS
TAMAÑOS PARA OBTENER MAYOR VALOR DE LOS DATOS Y PROCESOS ORGANIZATIVOS. (AMPLIACIÓN
ELÁSTICA, RENDIMIENTO DE CONSULTA RÁPIDO, ANÁLISIS Y FILTRO DE LOS DATOS DONDE RESIDEN,
SERVICIO AUTOMATIZADO, SERVICIOS EN LA NUBE).

• LOS LAGOS DE DATOS Y LABORATORIOS DE DATOS BASADOS EN LA NUBE PROPORCIONAN

CONFIGURACIONES FLEXIBLES PARA SATISFACER LAS NECESIDADES DE LA CARGA DE TRABAJO Y LA
ESCALABILIDAD RÁPIDA.
TECNOLOGÍAS DE BIG DATA: ANÁLISIS

• ANÁLISIS DE BIG DATA: APRENDIZAJE AUTOMÁTICO NECESARIOS PARA LOGRAR LOS OBJETIVOS
COMERCIALES EN SOLUCIONES ESCALABLES. (PREGUNTAR SOBRE CUALQUIER TIPO DE DATOS EN
CUALQUIER ENTORNO O DISPOSITIVO; MANEJO DE LAS CARGAS DE TRABAJO GRÁFICAS, ESPACIALES DE
PROCESAMIENTO DE BASES DE DATOS COMO NOSQL; MACHINE LEARNING).

• DESDE VISUALIZACIONES SIMPLES COMO DE POTENTES ALGORITMOS DE APRENDIZAJE AUTOMÁTICO.

INTRODUCCIÓN A LA ARQUITECTURA “BIG DATA”

• LA METODOLOGÍA TRADICIONAL CONOCIDA COMO ETL (EXTRACTION TRANSFORMATION AND LOAD)

CAPTURA LA DATA PROVENIENTE DE BASES DE DATOS RELACIONALES COMO XML PARA LUEGO SER
ENVIADA A UN ÁREA INTERMEDIA PARA EL PROCESO DE TRANSFORMACIÓN EN BASE A UNA SERIE DE
REGLAS; POSTERIORMENTE LOS DATOS SE CARGAN EN UNA BODEGA Y SON USADOS PARA ANALÍTICA.

• LA TECNOLOGÍA ELT NO ES ÓPTIMA PARA EL ANÁLISIS DE DATOS SEMIESTRUCTURADOS O NO

ESTRUCTURADOS POR LO QUE LA TECNOLOGÍA ELT (EXTRACTION, LOAD AND TRANSFORMATION) ES UNA
MEJOR ALTERNATIVA.
PROCESO DE ELT
• SE EXTRAE TODA LA DATA ESTRUCTURADA Y NO ESTRUCTURADA
• SE CARGAN A UN REPOSITORIO DE DATOS (LAGO DE DATOS) DONDE SE REALIZAN LAS
TRANSFORMACIONES

• EL LAGO DE DATOS PERMITE APROVECHAR EL USO DEL PROCESAMIENTO DISTRIBUIDO PARA ACELERAR
LAS TRANSFORMACIONES.

• EL RESULTADO DE LA TRANSFORMACIÓN DE USA EN ANALÍTICA.

DATA WAREHOUSE VS DATA LAKE

• DATA WAREHOUSE: BODEGA DE DATOS, ALMACENA DATOS PREVIAMENTE YA PROCESADOS.

• DATA LAKE: LAGO DE DATOS, ALMACENA LOS DATOS CRUDOS, SIN PROCESAMIENTO ANTERIOR.

• EN EL LAGO DE DATOS NO SE REQUIERE UNA ESTRUCTURA, ES SENCILLO ACCEDER Y REALIZAR CAMBIOS.

• LA BODEGA DE DATOS ES MAS COSTOSA DE MANIPULAR, PERO ES MÁS FÁCIL DE DESCIFRAR.
GRUPOS DE BIG DATA
• ARQUITECTURA POR LOTES: COLECCIÓN DE DATOS QUE HAN SIDO AGRUPADOS EN UN INTERVALO DE
TIEMPO ESPECIFICO.

• ARQUITECTURA EN TIEMPO REAL: ABORDAN DATA CONTINUA, CON POCA LATENCIA.

• EXISTEN ARQUITECTURAS INTERMEDIAS EN EL ESPECTRO COMO LOS MICRO BATCHES, QUE IMPLICAN
USAR INGESTA POR LOTES EN INTERVALOS DE TIEMPO PEQUEÑOS.
PROCESAMIENTO POR LOTES

• ADECUADO PARA MANEJAR GRANDES VOLÚMENES DE DATOS O AQUELLOS PROVENIENTES DE SISTEMAS

INFORMÁTICOS HEREDADOS DONDE NO ES POSIBLE OBTENER DATOS EN TIEMPO REAL.

• REQUIERE CARGAR DATOS POR LOTES A UN LAGO DE DATOS PARA SU POSTERIOR PROCESAMIENTO.
PROCESAMIENTO POR STREAMING (TIEMPO REAL)

• FUNCIONA EFICIENTEMENTE EN CONTEXTOS DE FLUJOS CONSTANTES DE DATOS DONDE SE REQUIERE

ANÁLISIS Y TOMA DE DECISIONES RÁPIDAMENTE.

• POSEEN UNA ARQUITECTURA ORIENTADA A MANEJAR EVENTOS INDIVIDUALMENTE, TAL QUE SE PROCEDA
A PROCESAR LA DATA TAN PRONTO SE GENERE EL EVENTO.
CUANDO ES EFICIENTE EL USO DEL BIG DATA

• ES USUALMENTE UTILIZADO CUANDO SE HABLA EN TÉRMINOS DE PETABYTES Y EXABYTES DE DATOS

• GIGABYTE: 10^9
• TERABYTE: 10^12
• PETABYTE: 10^15
• EXABYTE: 10^18
• LAS BASES DE DATOS CONVENCIONALES SON UNA PARTE IMPORTANTE Y RELEVANTE PARA UNA SOLUCIÓN
ANALÍTICA.
TIPOS DE DATOS
• WEB AND SOCIAL MEDIA: INFORMACIÓN QUE ES OBTENIDA DE LAS REDES SOCIALES.
• BIOMETRICS: HUELLAS DIGITALES, ESCANEOS, RECONOCIMIENTO FACIAL, GENÉTICA, ...
• MACHINE TO MACHINE: TECNOLOGÍAS QUE PERMITEN CONECTARSE A OTROS DISPOSITIVOS.
• HUMAN GENERATED: GENERADO POR LAS PERSONAS A TRAVÉS DE LLAMADAS, CORREOS, DOCUMENTOS,
…

• BIG TRANSACTION DATA: REGISTROS DE FACTURACIÓN Y RELACIONADOS CON TELECOMUNICACIONES.

COMPONENTES DE UNA PLATAFORMA BIG DATA

• PLATAFORMAS DE CÓDIGO ABIERTO (HADOOP) EL CUAL CONSISTE EN DIVIDIR EN DOS TAREAS (MAPER –
REDUCER) PARA MANIPULAR LOS DATOS DISTRIBUIDOS A NODOS DE UN CLÚSTER LOGRANDO UN ALTO
PARALELISMO EN EL PROCESAMIENTO.

• HADOOP SE COMPONE DE TRES PIEZAS: 1. HADOOP DISTRIBUTED FILE SYSTEM (HDFS) 2. HADOOP
MAPREDUCE Y HADOOP COMMON.
HDFS
• LOS DATOS EN EL CLUSTER DE HADOOP SON DIVIDIDOS EN PEQUEÑAS PIEZAS LLAMADAS BLOQUES Y
DISTRIBUIDAS A TRAVÉS DEL CLUSTER

• LAS FUNCIONES MAP Y REDUCE PUEDEN SER EJECUTADS EN PEQUEÑOS SUBCONJUNTOS

• SE PROVEE LA ESCALABILIDAD NECESARIA PARA EL PROCESAMIENTO DE GRANDES VOLÚMENES
• CADA BLOQUE ES ALMACENADO TRES VECES Y ALMENOS UN BLOQUE SE ALMACENA EN UN DIFERENTE
RACK PARA LOGRAR REDUNDANCIA
 HADOOP MAPREDUCE
• ES EL NUCLEO DE HADOOP.
• SE REFIERE A DOS PROCESOS SEPARADOS QUE HADOOP EJECUTA: 1. MAP 2. REDUCE
• MAP TOMA UN CONJUNTO DE DATOS, LO CONVIERTE EN OTRO CONJUNTO DONDE LOS ELEMENTOS INDIVIDUALES
SON SEPARADOS EN TUPLAS.

• REDUCE OBTIENE LA SALIDA DE MAP COMO DATOS DE ENTRADA Y COMBINA LAS TUPLAS EN UN CONJUNTO MÁS
PEQUEÑO DE LAS MISMAS.

• UNA FASE INTERMEDIA ES L DENOMINADA SHUFFLE, LA CUAL OBTIENE LAS TUPLS DEL PROCESO MAP Y DETERMINA
QUE NODO PROCESARÁ ESTOS DATOS DIRIGIENDO LA SALIDA A UNA TAREA REDUCE EN ESPECIFICO.
HADOOP COMMON
• ES UN CONJUNTO DE LIBRERÍAS QUE SOPORTAN VARIOS SUBPROYECTOS DE HADOOP.
• ADEMÁS DE ESTOS TRES COMPONENTES EXISTEN OTROS PROYECTOS RELACIONADOS
• ES UN SERVICIO QUE DA ACCESO A LOS SISTEMAS DE ARCHIVOS SOPORTADOS POR HADOOP, EL SOFTWARE
CONTIENE LOS ARCHIVOS CON EXTENSIÓN .JAR Y LOS SCRIPTS NECESARIOS PAR EJECUTAR LA HERRAMIENTA, EL
PAQUETE TAMBIÉN PROPORCIONA CÓDIGO FUENTE, DOCUMENTACIÓN PROYECTOS DE LA COMUNIDAD.

• SCRIPT. DOCUMENTO QUE CONTIENE INSTRUCCIONES ESCRITAS EN CÓDIGO DE PROGRAMACIÓN.


OTROS PROYECTOS
• AVRO: PROYECTO DE APACHE QUE PROVEE SERVICIOS DE
SERIALIZACIÓN.
• CASSANDA: PERMITE GRANDES VOLÚMENES DE DATOS EN
FORMA DISTRIBUIDA.
• CHUKWA: COLECCIÓN Y ANÁLISIS A GRAN ESCAL DE “LOGS”
• FLUME: DIRIGE LOS DATOS DE UNA FUENTE HCUA LGUNA
OTRA LOCLIDAD (MBIENTE DE HADOOP).
• HBASE: BASE DE DATOS COLUMNAR QUE SE EJECUTA EN
HDFS.
• HIVE: INFRAESTRUCTURA DE DATA WAREHOUSE.
• JAQL: LENGUAJE FUNCIONAL Y DECLARTIVO QUE PERMITE
LA EXPLOTACIÓN DE DATOS EN FORMATO JSON DISEÑADO
PARA PROCESAR GRANDES VOLÚMENES DE
INFORMACIÓN.
• LUCENE: LIBRERIAS PARA INDEXACIÓN Y BUSQUEDA DE
TEXTO.
• OOZIE: SIMPLIFIA LOS FLUJOS DE TRABAJO Y LA
COORDINACIÓN ENTRE CDA UNO DE LOS PROCESOS.
• PIG: EMBIENTE DE EJECUCIÓN DE PROGRAMAS SIMILAR A
JAVA Y SU APLICCIÓN.
• ZOOKEEPER: PUEDE CREAR UN ARCHIVO QUE SE
PERSISTE EN MEMORIA DE LOS SERVIDORES ZOOKEEPER,
ES UN SERVIDOS QUE PUEDE SER CONFIGURADO PARA
VIGILAR UN ZNODE EN PARTICULAR.
BIG DATA

• ES TODO UN ECOSISTEMA DE PROYECTOS QUE EN CONJUNTO PERMITEN SIMPLIFICAR, ADMINISTRAR,

COORDINAR Y ANALIZAR GRANDES VOLÚMENES DE INFORMACIÓN.
LINKS

• HTTPS://WWW.ORACLE.COM/CO/BIG-DATA/
• HTTPS://WWW.PANDAID.COM/BIG-DATA-PROCESOS-EN-TIEMPO-REAL/
• HTTPS://WWW.IBM.COM/DEVELOPERWORKS/SSA/LOCAL/IM/QUE-ES-BIG-DATA/INDEX.HTML