The Big Data
José Adrián Castillo Sierra
1. Introducción
A dı́a de hoy las decisiones basadas en la información
están cambiando la forma en la que se solı́a operar
una organización tradicionalmente. Ya sea una empresa,
institución gubernamental o grupo religioso; diariamente
se recaudan grandes cantidades de información, obtenidas
de fuentes distintas y almacenadas en distintas maneras,
lugares y formatos.
Si tratáramos de procesar de la misma manera todos
los datos ignorando sus formatos, volúmenes y calidad,
obtendrı́amos solo resultados negativos, en cuanto a la
veracidad del conocimiento que podrı́amos obtener de ella.
A este conjunto de información almacenada en distintas
maneras, lugares y formatos es a lo que coloquialmente se
le conoce como Big Data.
2. ¿Qué es el Big Data?
El Big Data es un campo dedicado al análisis,
procesamiento y almacenamiento de grandes volúmenes de
datos que con frecuencia se originan en fuentes distintas.
El uso de soluciones y prácticas de Big Data generalmente
se requieren cuando las tecnologı́as y técnicas tradicionales
de análisis, procesamiento y almacenamiento de datos son
insuficientes. Especı́ficamente, Big Data aborda distintos
requisitos, como la combinación de múltiples conjuntos
de datos no relacionados, el procesamiento de grandes
cantidades de datos no estructurados y la recolección de
información oculta de manera sensible al tiempo.
Aunque parezca que el Big Data es una nueva disciplina,
esta lleva en desarrollo muchos años. El procesamiento
y análisis de grandes cantidades de fuentes de datos ha
sido un gran problema desde hace muchos años. Desde
problemas para el calculo de las hipotecas y rendimientos
en fondos de retiros hasta el procesamiento y análisis de
los censos.
El análisis del Big Data es un campo multidisciplinario
en el cual se combinan las matemáticas, la estadı́stica, las
ciencias de la computación y la algoritmia. Las fronteras
de que es y que forma parte del Big Data cambian
constantemente debido a la evolución tanto de software
como de hardware que ha existido en los últimos años.
Hace diez años un gigabyte de información era considerado
un problema de Big Data; las soluciones que se crearon
y diseñaron para poder procesar y tratar un análisis
computacional, estadı́stico o matemático sentaron las bases
para poder lidiar con los petabytes de información que son
el problema actual de Big Data.
Obviamente el beneficio obtenido por el procesamiento,
estudio y transformación de estas cantidades de datos son
enormes; desde su uso para optimización de tiempos en
operaciones, brindar mayor inteligencia de negocio, encon-
trar nuevos mercados, búsqueda de patrones y tendencias, y
finalmente la que provoco el inicio de esta tendencia, tomar
mejores y más informadas decisiones.
2.1. Caracterı́sticas del Big Data
Para que un conjunto de datos se considere Big Data,
debe poseer una o más caracterı́sticas que requieran
adaptaciones en el diseño de la arquitectura del entorno
analı́tico. La mayorı́a de estas caracterı́sticas de datos
fueron identificadas Doug Laney a principios de 2001
cuando publicó un artı́culo que describı́a el impacto del
volumen, la velocidad y la variedad de datos de comercio
electrónico en los centros de datos empresariales.
2.1.1. Volumen. Una solucion de Big Data debe de anticipar
procesar grandes cantidades de datos que solo se continuen
acumulando. Debido al alto volumen, se deben de utilizar
formas distintas de almacenamiento y procesamiento, ası́
como formas distintas de preparar y manejar estos procesos.
Este volumen de datos puede ser generado de distintas
maneras, como pueden ser:
• Transacciones de ERP’s, puntos de venta y transac-
ciones bancarias.
• Experimentos de investigación cientı́fica.
• Sensores, gps y sistemas del internet de las cosas.
• Redes sociales como Facebook y Twitter.
2.1.2. Velocidad. La información puede ser producida a
altas velocidades, y los datasets pueden crecer en pocos
periodos de tiempo. La velocidad en que los datos se
generan se traduce en la cantidad de tiempo que toma en
ser procesada una vez entra al almacenamiento.
Copiar, procesar y limpiar la información a una buena
velocidad requiere de procesos y técnicas modernas de
consulta y replica. Tales pueden ser como streaming de
datos utilizando Kafka, replica binaria de bases de datos
y herramientas de consulta como elastic search o Redshift.
2.1.3. Variedad. La variedad de los datos se refiere a los
múltiples formatos y tipos que una solución de Big Data
debe de procesar. Esto suele ser un gran reto para la mayorı́a
de equipos de BI debido a los procesos de transformación,
procesamiento y almacenamiento.
2.1.4. Veracidad. La veracidad se refiere a la calidad o
fidelidad de los datos. Es necesario evaluar la calidad de
los datos que ingresan a los entornos de Big Data, lo que
puede conducir a actividades de procesamiento de datos
para resolver los datos no válidos y eliminar el ruido. En
relación con la veracidad, los datos pueden ser parte de la
señal o del ruido de un conjunto de datos. El ruido son
datos que no se pueden convertir en información y, por lo
tanto, no tienen valor, mientras que las señales tienen valor
y conducen a información significativa. Los datos con una
alta relación señal-ruido tienen más veracidad que los datos
con una relación más baja. Los datos que se adquieren de
manera controlada, por ejemplo, a través de registros de
clientes en lı́nea, generalmente contienen menos ruido que
los datos adquiridos a través de fuentes no controladas, como
publicaciones en redes sociales. Por lo tanto, la relación
señal-ruido de los datos depende de la fuente de los datos
y de su tipo.
2.1.5. Valor. El valor se define como la utilidad de los
datos para una empresa. La caracterı́stica de valor está
intuitivamente relacionada con la caracterı́stica de veracidad
en el sentido de que cuanto mayor sea la fidelidad de los
datos, más valor tiene para el negocio. El valor también
depende de cuánto tiempo lleve el procesamiento de datos
porque los resultados analı́ticos tienen una vida útil; por
ejemplo, una cotización de acciones con un retraso de
20 minutos tiene poco o ningún valor para realizar una
operación en comparación con una cotización que tiene 20
milisegundos de antigüedad. Como se demostró, el valor y el
tiempo están inversamente relacionados. Cuanto más tarden
los datos en convertirse en información significativa, menos
valor tendrán para una empresa. Los resultados obsoletos
inhiben la calidad y la velocidad de la toma de decisiones
informada.
2.2. Tipos de Datos
Los datos procesados por las soluciones de Big Data
pueden ser generados por humanos o por máquinas,
aunque, para estos últimos es responsabilidad de las
máquinas generar los resultados analı́ticos. Los datos
generados por humanos son el resultado de la interacción
humana con sistemas, como servicios en lı́nea y dispositivos
digitales.
Los datos generados por máquinas son generados
por programas de software y dispositivos de hardware
en respuesta a eventos del mundo real. Por ejemplo, un
sistema de punto de venta genera una transacción contra
el inventario para reflejar los artı́culos comprados por un
cliente. Desde una perspectiva de hardware, un ejemplo
de datos generados por máquinas serı́a la información
transmitida desde los numerosos sensores en un teléfono
celular incluida la posición y los pasos que su usuario ha
dado en el transcurso del dı́a.
Los datos generados por humanos y generados por
máquinas pueden provenir de una variedad de fuentes y
representarse en varios formatos o tipos, los principales tipos
de datos son:
• Estructurada.
• Sin Estructura.
• Semi Estructurada.
2.2.1. Estructurada. Los datos estructurados se ajustan a
un modelo o esquema de datos y, normalmente, se alma-
cenan en forma tabular. Se utiliza para capturar relaciones
entre diferentes entidades y se almacena con mayor frecuen-
cia en una base de datos relacional. Los datos estructurados
son generados con frecuencia por aplicaciones empresariales
y sistemas de información como los sistemas ERP y CRM.
Debido a la gran cantidad de herramientas y bases de datos
que aceptan datos estructurados, rara vez requieren una
consideración especial en lo que respecta al procesamiento
o almacenamiento.
2.2.2. Sin Estructurada. Los datos que no se ajustan a
un modelo de datos o esquema de datos se conocen como
datos no estructurados. Los datos no estructurados tienden
a crecer más rápido que los datos estructurados. Esta forma
de datos es textual o binaria y, a menudo, se transmite a
través de archivos que son autónomos y no relacionales.
Un archivo de texto puede contener el contenido de varios
tweets o publicaciones de blog. Los archivos binarios
suelen ser archivos multimedia que contienen datos de
imagen, audio o vı́deo. Técnicamente, tanto los archivos de
texto como los binarios tienen una estructura definida por
el propio formato del archivo, pero este aspecto se pasa por
alto y la noción de no estar estructurados está relacionada
con el formato de los datos contenidos en el propio archivo.
Por lo general, se requiere proceso único para
procesar y almacenar datos no estructurados. Los datos
no estructurados no se pueden procesar ni consultar
directamente mediante SQL. Si se requiere que se almacene
dentro de una base de datos relacional, se almacena
en una tabla como un objeto binario grande mejor
conocidos como BLOB’s, pero esto es muy raro que
se realice en la práctica. Alternativamente, una base de
datos NoSQL es una base de datos no relacional que
se puede usar para almacenar datos no estructurados
junto con datos estructurados. Un ejemplo de una Base de
Datos NoSQL puede ser MongoDb, DynamoDB o Firebase.
2.2.3. Semi Estructurada. Los datos semi estructurados
tienen un nivel definido de estructura y consistencia,
pero no son de naturaleza relacional. Los datos semi
estructurados son jerárquicos o basados en gráficos. Este
tipo de datos se almacena comúnmente en archivos que
contienen texto. Debido a la naturaleza textual de estos
datos y su conformidad con algún nivel de estructura, se
procesan más fácilmente que los datos no estructurados.
Los ejemplos de fuentes comunes de datos semi es-
tructurados incluyen hojas de cálculo y datos de sensores.
Los datos semi estructurados a menudo tienen requisitos
especiales de preprocesamiento y almacenamiento, especial-
mente si el formato subyacente no está basado en texto. Un
ejemplo de preprocesamiento de datos semi estructurados
serı́a la validación de un archivo XML de una factura
electrónica para garantizar que se ajusta a su definición de
esquema.
3. Data Lakes
Con tanta variedad, volumen y velocidad, los antiguos
sistemas y procesos ya no pueden soportar las necesidades
de datos de la empresa. La veracidad es un problema aún
mayor para el análisis avanzado y la inteligencia artificial,
donde el principio de ”basura que entra, basura que sale”
es aún más crı́tico porque es prácticamente imposible
saber si los datos eran malos y causaron malas decisiones
en estadı́sticas y modelos de aprendizaje automático o el
modelo era malo.
Para respaldar estos esfuerzos y abordar estos desafı́os,
se está produciendo una revolución en la gestión de datos
en torno a cómo se almacenan, procesan, gestionan y
proporcionan los datos a los responsables de la toma de
decisiones. La tecnologı́a de Big Data está permitiendo
una escalabilidad y una rentabilidad de órdenes de una
magnitud mayor que la que es posible con la infraestructura
tradicional de gestión de datos. Procesos automáticos están
tomando el relevo de los enfoques laboriosos del pasado, en
los que ejércitos de profesionales de TI creaban almacenes
de datos y data marts bien administrados, pero tardaban
meses en realizar cualquier cambio.
Un Data Lake es un enfoque nuevo que aprovecha
el poder de la tecnologı́a de Big Data y la combina con
la agilidad de procesos automáticos. La mayorı́a de las
grandes empresas de hoy en dı́a han implementado o están
en proceso de implementar lagos de datos.
La toma de decisiones basada en datos es importante.
Desde la ciencia de datos, el aprendizaje automático y los
dashboards en tiempo real, los responsables de la toma de
decisiones exigen datos que les ayuden a tomar decisiones.
Estos datos necesitan un hogar, y el lago de datos es la
solución preferida para crear ese hogar. El término fue
inventado y descrito por primera vez por James Dixon,
CTO de Pentaho, quien escribió en su blog: “Si piensa
en un datamart como una tienda de agua embotellada,
limpia, empaquetada y estructurada para un consumo fácil,
el lago de datos es un gran cuerpo de agua en un estado
más natural. El contenido del lago de datos fluye desde
una fuente para llenar el lago, y varios usuarios del lago
pueden venir a examinar, sumergirse o tomar muestras”.
La razón para poner los datos sin procesar a disposición
de los analistas es para que puedan realizar análisis
automático. El autoservicio ha sido una tendencia
importante hacia la democratización de los datos. Comenzó
en el punto de uso con herramientas de visualización
como Tableau que permiten a los analistas analizar datos
sin tener que obtener ayuda de TI. La tendencia continúa
con herramientas de preparación de datos que ayudan
a los analistas a dar forma a los datos para análisis y
herramientas de catálogo que ayudan a los analistas a
encontrar los datos que necesitan y herramientas de ciencia
de datos que ayudan a realizar análisis avanzados. Para
análisis aún más avanzados, generalmente denominados
ciencia de datos, los cientı́ficos de datos también suelen
hacer de un lago de datos su fuente de datos principal.
Por supuesto, un gran desafı́o es el gobierno y la seguri-
dad de los datos. Todos están de acuerdo en que los datos
deben mantenerse seguros. Existen polı́ticas de seguridad de
datos prescritas que deben implementarse y es ilegal dar a
los analistas acceso a todos los datos. Incluso en algunas
industrias no reguladas, se considera una mala idea.
3.1. Madurez de un Data Lake
Un Data Lake es un concepto nuevo, y normalmente
dependiendo del estado en el que se encuentra se definen
distintas etapas de vida de un Data Lake.
• Data Puddle, charco de datos: es básicamente
un data mart de un solo propósito o de un solo
proyecto creado con tecnologı́a de big data. Por
lo general, es el primer paso en la adopción de
la tecnologı́a de big data. Los datos en un charco
de datos se cargan con el propósito de un solo
proyecto o equipo. Por lo general, es bien conocido
y entendido, y la razón por la que se utiliza la
tecnologı́a de big data en lugar del almacenamiento
de datos tradicional es para reducir los costos y
brindar un mejor rendimiento.
• Data Pond, estanque de datos: es una colección
de charcos de datos. Puede ser como un almacén
de datos mal diseñado, que en realidad es una
colección de data marts colocados, o puede ser
una descarga de un almacén de datos existente. Si
bien los costos de tecnologı́a más bajos y la mejor
escalabilidad son beneficios claros y atractivos,
estas construcciones aún requieren un alto nivel de
participación de TI. Además, los data ponds limitan
los datos solo a los que necesita el proyecto y usan
 esos datos solo para el proyecto que los requiere.
Dados los altos costos de TI y la disponibilidad
limitada de datos, los conjuntos de datos realmente
no nos ayudan con los objetivos de democratizar el
uso de datos o impulsar el autoservicio y la toma
de decisiones basada en datos para los usuarios
comerciales.
• Data Lake, lago de datos: es diferente de un
estanque de datos en dos formas importantes. En
primer lugar, admite el autoservicio, en el que los
usuarios empresariales pueden encontrar y utilizar
los conjuntos de datos que desean utilizar sin tener
que depender de la ayuda del departamento de TI.
En segundo lugar, su objetivo es contener datos
que los usuarios comerciales posiblemente deseen
incluso si no hay ningún proyecto que los requiera
en ese momento.
• Data Ocean, océano de datos: expande los datos
de autoservicio y la toma de decisiones basada en
datos a todos los datos empresariales, donde sea
que estén, independientemente de si se cargaron en
el lago de datos o no.
• Data Swamp, pantano de datos: Un pantano de
datos es un estanque de datos que ha crecido hasta
alcanzar el tamaño de un lago de datos pero que no
logró atraer a una amplia comunidad de analistas,
generalmente debido a la falta de instalaciones de
autoservicio y gobernanza. En el mejor de los casos,
el pantano de datos se utiliza como un estanque de
datos y, en el peor de los casos, no se utiliza en
absoluto.
4. Tipos de Bases de Datos
Una base de datos es un conjunto de información
o datos estructurados, que normalmente se almacena de
forma electrónica. Normalmente, una base de datos está
controlada por un sistema de gestión de bases de datos.
En conjunto, los datos y el gestor de bases de datos, junto
con las aplicaciones asociadas a ellos, reciben el nombre
de sistema de bases de datos, abreviado normalmente a
simplemente base de datos.
Los datos de los tipos más comunes de bases de datos
en funcionamiento actualmente se suelen utilizar como
estructuras de registros y columnas en una serie de tablas
para aumentar la eficacia del procesamiento y la consulta de
datos. Ası́, se puede acceder, modificar, actualizar, controlar
y organizar fácilmente los datos. La mayorı́a de las bases
de datos utilizan un lenguaje de consulta estructurada,
mejor conocido como SQL para escribir y consultar datos.
Normalmente, una base de datos requiere un programa
de software de bases de datos completo, gestor de bases
de datos. Un gestor de bases de datos sirve como interfaz
entre la base de datos y sus programas o usuarios finales, lo
que permite a los usuarios recuperar, actualizar y gestionar
cómo se organiza y se optimiza la información. También
facilita la supervisión y el control de las bases de datos,
lo que permite una variedad de operaciones administrativas
como la supervisión del rendimiento, el ajuste, la copia de
seguridad y la recuperación.
Las bases de datos han evolucionado desde su inicio
a principios de la década de 1960. Las bases de datos de
navegación, como la base de datos jerárquica y la base de
datos de red eran los sistemas originales que se utilizaban
para almacenar y manipular datos. En la década de 1980, se
hicieron populares las bases de datos relacionales, seguidas
de las bases de datos orientadas a objetos en la década
de 1990. Más recientemente, las bases de datos NoSQL
surgieron como respuesta al crecimiento de Internet y la
necesidad de acelerar la velocidad y el procesamiento de
los datos no estructurados.
4.1. Relacionales
Una base de datos relacional es una recopilación
de elementos de datos con relaciones entre ellos. Estos
elementos se organizan como un conjunto de tablas con
columnas y filas. Las tablas se utilizan para guardar
información sobre los objetos que se van a representar en
la base de datos. Cada columna de una tabla guarda un
determinado tipo de datos y un campo almacena el valor
real de un atributo. Las filas de la tabla representan una
recopilación de valores relacionados de un objeto o una
entidad. Cada fila de una tabla podrı́a marcarse con un
identificador único denominado clave principal, mientras
que filas de varias tablas pueden relacionarse con claves
foráneas.
Una base de datos relacional contiene los siguientes
aspectos importantes:
• SQL: Es la interfaz principal utilizada para
comunicarse con bases de datos relacionales. SQL
 se utiliza para agregar, actualizar o eliminar filas de
datos.
• Integridad de los datos: La integridad de los datos
es la totalidad, precisión y coherencia general de los
datos. Las bases de datos relacionales utilizan un
conjunto de restricciones para aplicar la integridad
de los datos en la base de datos. Estas restricciones
de integridad ayudan a aplicar reglas de negocio en
datos de las tablas para garantizar la precisión y
fiabilidad de los datos.
• Transacciones: Una transacción de base de datos
es una o más instrucciones SQL que se ejecutan
como una secuencia de operaciones que forman
una sola unidad lógica de trabajo.Una transacción
genera un COMMIT, hacer permanente los datos, o
un ROLLBACK, deshacer una modificación. Cada
transacción se trata de forma coherente y fiable
independiente de otras transacciones.
Los principales motores de bases de datos relacionales
son MySQL, Postgresql, MariaDb y Aurora. Estas bases de
datos son las más utilizadas debido a su gran escalabilidad
y gracias a que son de código abierta sus costos de licencia
son nulos, a excepción de Aurora ya que esta es una ofrecida
por Amazon WebServices. Estos motores de base de datos
relacionales son los más utilizados a nivel mundial por
empresas como Facebook, Netflix, Uber y Disney.
4.2. No SQL
Las bases de datos NoSQL están diseñadas
especı́ficamente para modelos de datos especı́ficos y
tienen esquemas flexibles para crear aplicaciones modernas.
Las bases de datos NoSQL son ampliamente reconocidas
porque son fáciles de desarrollar, por su funcionalidad y el
rendimiento a escala.
Las bases de datos NoSQL utilizan una variedad de
modelos de datos para acceder y administrar datos. Estos
tipos de bases de datos están hechos especı́ficamente
para aplicaciones que requieren grandes volúmenes de
datos, baja latencia y modelos de datos flexibles, lo
que se logra mediante la flexibilización de algunas de las
restricciones de coherencia de datos en otras bases de datos.
Las bases de datos NoSQL se clasifican de la siguiente
manera:
4.2.1. Clave-valor. Las bases de datos clave-valor son
altamente divisibles y permiten escalado horizontal a escalas
que otros tipos de bases de datos no pueden alcanzar. Los
casos de uso como juegos, tecnologı́a publicitaria e IoT
se prestan particularmente bien con el modelo de datos
clave-valor.
Un ejemplo de este tipo de base de datos es DynamoDb,
la cual es una base de datos ofrecida como servicio por parte
de Amazon WebServices la cual permite gestionar grandes
cantidades con prácticamente nulo mantenimiento necesario,
ya que se puede asignar un tiempo de vida a cada registro,
permitiendo ası́ eliminar los registros cuando su tiempo de
uso ya expiró.
4.2.2. Documentos. :os datos se representan a menudo
como un objeto o un documento de tipo JSON porque
es un modelo de datos eficiente e intuitivo para los
desarrolladores. Las bases de datos de documentos facilitan
a los desarrolladores el almacenamiento y la consulta de
datos en una base de datos mediante el uso del mismo
formato de modelo de documento que emplean en el código
de aplicación. La naturaleza flexible, semiestructurada y
jerárquica de los documentos y las bases de datos de
documentos permite que evolucionen según las necesidades
de las aplicaciones. El modelo de documentos funciona
bien con catálogos, perfiles de usuario y sistemas de
administración de contenido en los que cada documento es
único y evoluciona con el tiempo.
Un ejemplo de una base de datos de documentos es
MongoDb, el cual es una base de datos de código abierto,
el cual permite el almacenamiento de datos en formato
JSON. Permitiendo modificar la estructura de los objetos
almacenados previamente nos prevé para cambios en los
datos almacenados sin afectar la funcionalidad de los datos
almacenados previamente.
4.2.3. Grafos. El propósito de una base de datos de gráficos
es facilitar la creación y la ejecución de aplicaciones que
funcionan con conjuntos de datos altamente conectados.
Los casos de uso tı́picos para una base de datos de gráficos
incluyen redes sociales, motores de recomendaciones,
detección de fraude y grafos de conocimiento.
Un ejemplo de una base de datos de grafos es Neo4j,
la cual es una base de datos pensada para hacer consultas
donde las asociaciones entre los datos y campos son el
principal objetivo. Suelen escalar muy bien. Si se necesita
una versión pensada para escalar a mayor volumen de datos
y latencia siempre se puede utilizar Neptune de Amazon
WebServices.
5. Herramientas para el Big Data
Los datos no tienen sentido hasta que se convierten
en información y conocimiento útiles que pueden ayudar
a los directivos en la toma de decisiones. Para este
propósito, tenemos varios de los mejores software de Big
Data disponibles en el mercado. Este software ayuda a
almacenar, analizar, informar y hacer mucho más con los
datos.
5.1. Apache Hadoop
Apache Hadoop es un framework que permite el proce-
samiento distribuido de grandes conjuntos de datos en gru-
pos de computadoras. Está diseñado para escalar desde
servidores individuales a miles de máquinas, cada una de las
cuales ofrece computación y almacenamiento local. En lugar
de depender del hardware para brindar alta disponibilidad, la
biblioteca en sı́ está diseñada para detectar y manejar fallas
en la capa de la aplicación, por lo que brinda un servicio de
alta disponibilidad sobre un grupo de computadoras, cada
una de las cuales puede ser propensa a fallas.
5.2. Apache Hive
Apache Hive es una tecnologı́a distribuida diseñada
y construida sobre Hadoop. Permite hacer consultas y
analizar grandes cantidades de datos almacenados en el
sistema de archivos de Hadoop, en la escala de petabytes.
Tiene un lenguaje de consulta llamado HiveQL o HQL que
internamente transforma las consultas SQL en trabajos que
ejecutan en Hadoop. El lenguaje de consulta HQL es un
dialecto de SQL, que no sigue el estándar ANSI SQL, sin
embargo es muy similar.
El proyecto comenzó en el 2008 y fue desarrollado
por Facebook para hacer que Hadoop se comportara de
una manera más parecida a un data warehouse tradicional.
La tecnologı́a Hadoop es altamente escalable, sin embargo
tiene dos problemas principales: La dificultad de uso y
orientado a operaciones Batch.
Los datos gestionados por Hive son datos estructurados
almacenados en el sistema de archivos de Hadoop. Ası́,
optimiza de forma automática el plan de ejecución y usa
particionado de tablas en determinadas consultas..
Una consulta tı́pica en Hive ejecuta en varios data nodos
en paralelo, con trabajos asociados. Estas operaciones son
de tipo batch, por lo que la latencia es más alta que en
otros tipos de bases de datos. Además, hay que considerar
el retardo producido por la inicialización de los trabajos,
sobre todo en el caso de consultar pequeños datasets.
5.3. Apache Spark
Apache Spark es un framework de procesamiento
de datos que puede realizar rápidamente tareas de
procesamiento en conjuntos de datos muy grandes y
también puede distribuir tareas de procesamiento de datos
en varias computadoras, ya sea solo o en conjunto con
otras herramientas informáticas distribuidas. Estas dos
cualidades son clave para los mundos de los grandes datos
y el aprendizaje automático, que requieren la organización
de una potencia informática masiva para procesar grandes
almacenes de datos. Spark abstrae gran parte del trabajo
duro de la computación distribuida y el procesamiento de
Big Data.
Desde sus humildes comienzos en el AMPLab de la U.C.
Berkeley en 2009, Apache Spark se ha convertido en uno de
los principales frameworks de procesamiento distribuido de
big data en el mundo. Spark se puede implementar de varias
maneras, proporciona enlaces nativos para los lenguajes de
programación Java, Scala, Python y R, y es compatible con
SQL, transmisión de datos y aprendizaje automático. Es
utilizado por bancos, empresas de telecomunicaciones, em-
presas de juegos, gobiernos y todos los gigantes tecnológicos
más importantes, como Apple, Facebook, IBM y Microsoft.
5.4. Apache Airflow
Apache Airflow es una plataforma para crear, programar
y monitorear flujos de trabajo mediante programación. Es
completamente de código abierto y es especialmente útil en
la arquitectura y orquestación de canalizaciones de datos
complejas. Airflow se creó originalmente para resolver los
problemas que surgen con las tareas cron de ejecución
prolongada y los scripts pesados, pero desde entonces ha
crecido hasta convertirse en una de las plataformas de
canalización de datos de código abierto más poderosas que
existen.
Airflow tiene un par de beneficios clave:
• Es dinámico: Cualquier cosa que se pueda hacer
en Python, puede hacerlo en Airflow.
• Es extensible: Airflow tiene complementos
fácilmente disponibles para interactuar con los sis-
temas externos más comunes. También puede crear
sus propios complementos según sea necesario.
• Es escalable: Los equipos usan Airflow para ejecu-
tar miles de tareas diferentes por dı́a.
Con Airflow, los flujos de trabajo se diseñan y expresan
como gráficos acı́clicos dirigidos (DAG), en los que cada
nodo del DAG representa una tarea especı́fica. Airflow está
diseñado con la creencia de que todas las canalizaciones
de datos se expresan mejor como código y, como tal,
es una plataforma de código primero donde puede iterar
rápidamente en los flujos de trabajo. Esta filosofı́a de diseño
de código primero proporciona un grado de extensibilidad
que otras herramientas de canalización no pueden igualar.
Airflow se puede usar para prácticamente cualquier
canalización de datos por lotes, y hay muchos casos de uso
documentados en la comunidad. Debido a su extensibilidad,
Airflow es particularmente poderoso para orquestar trabajos
con dependencias complejas en múltiples sistemas externos.
5.5. Apache Kafka
Apache Kafka es una plataforma de transmisión de
eventos distribuidos de código abierto utilizada por miles de
empresas para canalizaciones de datos de alto rendimiento,
análisis de transmisión, integración de datos y aplicaciones
de misión crı́tica.
La transmisión de eventos es la práctica de capturar
datos en tiempo real de fuentes de eventos como bases de
datos, sensores, dispositivos móviles, servicios en la nube
y aplicaciones de software en forma de flujos de eventos;
almacenar estos flujos de eventos de forma duradera para
su posterior recuperación; manipular, procesar y reaccionar
a los flujos de eventos en tiempo real y enrutar los flujos
de eventos a diferentes tecnologı́as de destino según sea
necesario. La transmisión de eventos garantiza un flujo
continuo y una interpretación de los datos para que la
información correcta esté en el lugar correcto, en el
momento correcto.
La transmisión de eventos se aplica a una amplia var-
iedad de casos de uso en una gran cantidad de industrias y
organizaciones. Sus muchos ejemplos incluyen:
• Para procesar pagos y transacciones financieras en
tiempo real, como en bolsas de valores, bancos
y seguros. Para rastrear y monitorear automóviles,
camiones, flotas y envı́os en tiempo real, como en
logı́stica y la industria automotriz.
• Para capturar y analizar continuamente datos de
sensores de dispositivos IoT u otros equipos, como
en fábricas y parques eólicos.
• Para recopilar y reaccionar de inmediato a las in-
teracciones y pedidos de los clientes, como en el
comercio minorista, la industria hotelera y de viajes,
y las aplicaciones móviles.
• Monitorear a los pacientes en atención hospitalaria
y predecir cambios de condición para asegurar un
tratamiento oportuno en emergencias.
• Para conectar, almacenar y poner a disposición datos
producidos por diferentes divisiones de una empresa.
Servir como base para plataformas de datos, arqui-
tecturas basadas en eventos y microservicios.
5.6. Tableau
Tableau es una herramienta de visualización de datos
poderosa y de más rápido crecimiento que se utiliza en la
industria de inteligencia empresarial. Ayuda a simplificar
los datos sin procesar en un formato muy fácil de entender.
Tableau ayuda a crear los datos que pueden entender
los profesionales de cualquier nivel en una organización.
También permite a los usuarios no técnicos crear paneles
personalizados.
Lo bueno del software de Tableau es que no requiere
ninguna habilidad técnica ni de programación para fun-
cionar. La herramienta ha despertado el interés de personas
de todos los sectores, como empresas, investigadores, difer-
entes industrias, etc.
5.7. Power Bi
Power BI is a collection of software services, apps,
and connectors that work together to turn your unrelated
sources of data into coherent, visually immersive, and in-
teractive insights. Your data may be an Excel spreadsheet,
or a collection of cloud-based and on-premises hybrid data
warehouses. Power BI lets you easily connect to your data
sources, visualize and discover what’s important, and share
that with anyone or everyone you want.
5.8. Quicksights
Amazon QuickSight permite que todos los miembros de
su organización comprendan sus datos mediante preguntas
en lenguaje natural, la exploración a través de paneles
interactivos o la búsqueda automática de patrones y valores
atı́picos impulsada por machine learning.
Los usuarios finales de las organizaciones pueden
realizar preguntas en lenguaje natural y recibir respuestas
con visualizaciones relevantes. QuickSight Q utiliza
machine learning para interpretar la intención de una
pregunta y analizar los datos para responder las preguntas
empresariales de manera rápida.
Los analistas empresariales pueden crear paneles de
control de pı́xeles perfectos y sin servidor en minutos y
sin problemas, mediante la conexión segura a petabytes de
datos en Amazon S3 y la realización de consultas a través
de Amazon Athena, mientras comparten con decenas de
miles de usuarios en Amazon QuickSight, todo sin software
cliente o infraestructura de servidor.
Los desarrolladores pueden implementar y escalar
análisis integrados a cientos de miles de usuarios en
aplicaciones con API de AWS robustas. Comparta la
información y la visualización de datos con todos los
usuarios de la organización, ya sea a través de la Web, de
dispositivos móviles, del email o de aplicaciones integradas.
Los administradores pueden proporcionar un
rendimiento constante, ya que QuickSight escala de forma
automática la carga de trabajo. QuickSight proporciona
actualizaciones cada 2 semanas, lo que garantiza que todos
los usuarios tengan las caracterı́sticas más recientes sin
tiempo de inactividad, conflictos de versiones o problemas
de compatibilidad observados con las soluciones de
inteligencia empresarial (BI) tradicionales. QuickSight
también es el primer servicio de inteligencia empresarial
(BI) que ofrece precios de pago por sesión, lo que lo hace
rentable para implementaciones a gran escala.
5.9. Jupyter
La aplicación Jupyter Notebook es una aplicación
servidor-cliente que permite editar y ejecutar documentos
de notebook a través de un navegador web. La aplicación
Jupyter Notebook se puede ejecutar en un escritorio local
que no requiera acceso a Internet (como se describe en
este documento) o se puede instalar en un servidor remoto
y acceder a través de Internet.

Los documentos de notebook son documentos produci-

dos por la aplicación Jupyter Notebook, que contienen
código de computadora, python, R y Julia, y elementos de
texto enriquecido, párrafos, ecuaciones, figuras. Los doc-
umentos de cuaderno son tanto documentos legibles por
humanos que contienen la descripción del análisis y los
resultados como documentos ejecutables que se pueden
ejecutar para realizar análisis de datos.

6. Conclusión
Debido a las grandes cantidades de datos y a las
necesidades de obtener cada vez mejor calidad de
informacion y conocimiento de estos mismos, muchas
herramientas, procesos y conceptos se han desarrollado
para poder hacer frente a estos nuevos retos.

El procesamiento de Big Data va comenzando una

nueva etapa donde los datos son cada vez mas variables y
provienen de fuentes diferentes. Pero asi como han surgido
tecnologı́as y técnicas para afrontar los retos anteriores,
nuevas maneras y tecnologı́as surgirán para vencer los
próximos obstáculos.

References
[1] URL : https://kafka.apache.org/intro.
[2] ¿Qué es una base de datos relacional? URL: https :
//www.oracle.com/mx/database/what-is-a-relational-
database/.
[3] Apache airflow documentation¶. URL: https://airflow.
apache.org/docs/apache-airflow/stable/index.html.
[4] Apache Hive. URL: https://hive.apache.org/.
[5] Thomas Erl, Wajid Khattak, and Paul Buhler. Big Data
Fundamentals: Concepts, Drivers amp; Techniques.
Prentice Hall, 2016.
[6] Alex Gorelik. The Enterprise Big Data Lake: Deliver-
ing the promise of Big Data and data science. O’Reilly
Media, 2019.
[7] Markku Lahtela and Philip (Provenance) Kaplan. AWS
Quicksight. 1966. URL: https://aws.amazon.com/es/
quicksight/.
[8] Project jupyter. URL: https://jupyter.org/.