1
Historia, Evolución
y Casos de Uso de Big Data
Sergio Muzzupappa
Profesor: Ana Darcacha
Fecha Presentación: 18/06/2014
Abstract--Big Data es un área de la informática
relativamente novedosa que proporciona una nueva manera de
trabajar con enormes cantidades de datos haciendo uso efectivo
de la computación paralela, que de otra forma los tiempos y
recursos se multiplicarían en forma exponencial. Se presenta
una reseña histórica del tema, su infraestructura computacional
actual, además de casos de uso concretos, y por último se
pretende dar un panorama abierto sobre la evolución y el
futuro del área.
Index Terms—Bases de Datos, Arquitecturas Paralelas,
Procesamiento multinúcleo, Métodos de Clustering,
Aprendizaje de Máquina, Sistemas de Almacenamieno, Data
warehouses, Sistemas de Archivos, Computación de Alta
Velocidad.
I. INTRODUCCIÓN
L a era del Big Data ha venido para quedarse. Es un
término que denota cargas de trabajo y soluciones de
manejo de datos que no podrían haberse soportado
previamente por limitaciones tecnológicas y de costos. La
cantidad de datos y la tasa de aumento se acelera
diariamente, y los sets de datos que un número creciente de
empresas necesitan analizar, deben tener en cuenta esta
explosión de datos, tomando en cuenta su gran cantidad y
complejidad, su variedad de fuentes y la demanda de rapidez
de procesamiento para la toma de decisiones, por supuesto, al
menor costo posible. Cuando se habla de Big Data se tienen
en cuenta sets de datos, por lo general de decenas, hasta
cientos de terabytes o más.
II. JUSTIFICACIÓN
Hoy en día Big Data es un tema en boga del mundo
informático ya que su infraestructura provee una forma de
procesar grandes cantidades de datos en conjuntos enormes
de servidores con hardware barato, utilizar todos los recursos
de hardware eficientemente y poder rápidamente obtener
respuestas a interrogantes antes imposibles. Aunque los casos
de uso no son todos, es importante delimitar cuál es el
alcance de ésta tecnología y prever su evolución. El objetivo
del presente trabajo es delimitar el alcance de la tecnología
de Big Data, proveyendo información sobre el trabajo con la
misma en casos del mundo real, y brindar una perspectiva
sobre su evolución y su lugar en el mundo de las Bases de
Datos.
III. MARCO TEÓRICO
A. Data Science
La ciencia de los datos [1] es el estudio de la extracción
del conocimiento generalizable a partir de datos. Incorpora
diversos elementos y se basa en las técnicas y teorías de
muchos campos, incluyendo procesamiento de señales,
matemáticas, modelos de probabilidad, aprendizaje
automático, la programación informática, estadística,
ingeniería de datos, reconocimiento de patrones y
aprendizaje, la visualización, la modelación de la
incertidumbre, almacenamiento de datos y la computación de
alto rendimiento con el objetivo de extraer el significado de
los datos y la creación de productos de datos.
La ciencia de los datos es una frase de moda, que se
utiliza a menudo de manera intercambiable con analítica o
Big Data [2]. En muchos casos se abusa de la
comercialización de cualquier cosa que implica el
procesamiento de datos, en particular para dotar a la marca
de inteligencia y analítica empresarial en ambientes
competitivos.
B. Big Data
Una definición aceptada de Big Data habla de las 3 Vs:
volumen, velocidad y variedad, y de conjuntos de datos que
superan la capacidad de procesamiento del software habitual
para ser capturados, gestionados y procesados en tiempos
razonables [3].
Los sets de datos de Big Data son difíciles de trabajar con
el uso de sistemas de gestión de base de datos relacionales y
estadísticas de escritorio y paquetes de visualización, lo que
requiere en su lugar un software masivamente paralelo que se
ejecuta en decenas, cientos o incluso miles de servidores, de
tal modo de procesar eficientemente los datos en un tiempo
razonable.
Big Data hoy en día no se compone únicamente del
framework de Hadoop, sino que también se considera otras
arquitecturas NoSQL como MongoDB, HBase o Cassandra,
los cuales pueden ser integrados a Hadoop, por otro lado la
gran mayoría de éstos forman parte de su ecosistema, por lo
que en el presente trabajo nos centraremos en éste.

C. Hadoop
Hadoop es un framework de procesamiento de Big Data
que ejecuta aplicaciones en grandes clusters de hardware
barato dedicado. El framework proporciona a las aplicaciones
de forma transparente fiabilidad y movilidad de datos. Con
Mapreduce la aplicación se divide en muchos pequeños
fragmentos de trabajo, cada uno de los cuales se pueden
ejecutar o volver a ejecutar en cualquier nodo del clúster.
Además, proporciona un sistema de archivos distribuido
que almacena los datos en los nodos de cómputo,
produciendo un alto ancho de banda agregado en todo el
clúster. Ambos, Mapreduce y el sistema de archivos
distribuidos HDFS, están diseñados de manera que las fallas
de nodo se gestionan automáticamente mediante el
framework [4].
D. Datos Estructurados vs No Estructurados
Los datos que residen en un campo fijo dentro de un
registro o archivo se llaman datos estructurados. Esto incluye
los datos contenidos en las bases de datos relacionales y
hojas de cálculo.
Los mismos dependen en primer lugar la creación de un
modelo de datos - un modelo de los tipos de datos de
negocios que se grabarán y cómo van a ser almacenados,
procesados y accedidos. Esto incluye definir qué campos de
datos se almacenan y cómo se almacenarán los datos: tipo de
datos y las restricciones a la entrada de datos.
Los datos no estructurados por lo general se refieren a la
información que no reside en una base de datos de fila-
columna tradicional.
Los archivos de datos no estructurados a menudo incluyen
texto y contenido multimedia. Los ejemplos incluyen
mensajes de correo electrónico, documentos de
procesamiento de textos, vídeos, fotos, archivos de audio,
presentaciones, páginas Web y muchos otros tipos de
documentos de negocios. Si bien este tipo de archivos pueden
tener una estructura interna, que todavía se consideran "no
estructurado", porque los datos que contienen no encaja en
una base de datos [5].
E. Orígenes del Big Data
Los hombres hemos venido generando datos desde hace
miles de años, los últimos tiempos la progresión de
crecimiento en cantidad de datos ha aumentado
considerablemente. Al principio se usaban datos
estandarizados y estructurados, con cantidades de datos desde
gigabytes hasta algunos terabytes.
Hoy en día, con el avance de las tecnologías, en las
2
empresas existe una explosión de datos, ya que se tiende a
consumir datos llamados no estructurados de diversas fuentes
de datos fuera de los firewalls de la misma, por ejemplo de la
web y combinarlos con los de la empresa.
La tendencia es que la huella de los datos de todas las
personas siga creciendo, pero tal vez más importante, la
cantidad de datos generados por máquinas será aún mayor
que el generado por personas. Logs de máquinas, lectores
RFID, redes de sensores, los rastros de vehículo GPS, todos
estos contribuyen a la creciente montaña de datos.
F. Terminología para Uso y Análisis de Datos en el tiempo
Según Thomas Davenport en su libro “Big Data at Work:
Dispelling the Myths, Uncovering the Opportunities”, el
análisis de datos por computadora no es nuevo, y ha
cambiado su terminología a lo largo de los años, como
ejemplo cita 6 términos clave[6]:
I. Soporte a las decisiones (1970-1985): uso de análisis de
datos para soportar la toma de decisiones.
II. Soporte ejecutivo (1980-1990): Foco en el análisis de
datos para decisiones tomadas por altos ejecutivos.
III. Procesamiento analítico en línea u OLAP (1990-2000):
Software para analizar tablas multidimensionales de datos.
IV. Inteligencia de Negocio o BI (1989-2005): Herramientas
para soportar decisiones guiadas por los datos, con énfasis en
los reportes.
V. Analítica (2005-2010): Foco en análisis estadístico y
matemático para la toma de decisiones.
VI. Big Data (2010-presente): Foco en grandes cantidades de
datos no estructurados que cambian rápidamente.
G. Diferencias de Tratamiento de Datos
Las tradicionales RDBMS son usadas tanto para los
sistemas transaccionales, informes y archivado. Algunas de
las cuales son SQL Server, MySQL y Oracle. Éstas leen y
escriben conjuntos de datos "razonables" por lo general
menores a 1 Terabyte. Aunque no son buenas para volúmenes
masivos de datos, datos no estructurados y semi-
estructurados. Por otro lado, es complicado escalar la
infraestructura.
NoSql está diseñado para un rápido acceso a las
combinaciones de pares "clave-valor". Es útil para productos
como Facebook / Twitter donde más información gira en
torno a una pieza "clave" de los datos. Algunos ejemplos son
las bases de datos MongoDB y Cassandra. Éste tipo es bueno
para almacenamiento de la información de un tipo
determinado, gran velocidad de recuperación basado claves y

buen rendimiento de escritura, aunque no se utiliza para
agrupar información a través de valores clave (por ejemplo,
para la presentación de informes). El mismo permite mejor
productividad al crear aplicaciones basadas en datos, ya que
el trabajo de diseño al inicio es menor[7].
Hadoop viene de un enfoque de código abierto para
almacenamiento de datos en un sistema de archivos a través
de una gama de productos relativamente baratos de hardware,
y su procesamiento, utilizando un paralelismo eficiente de
servidores y su hardware. Algunas implementaciones son de
las empresas Cloudera, Intel, Amazon y Hortonworks. Provee
un almacenamiento barato de gran cantidad de datos,
estructurados y semi-estructurados. No es un reemplazo para
las RDBMS tradicionales sino un complemento, no funciona
bien con procesamiento de muchos archivos pequeños. Posee
un fuerte sesgo a la comunidad de código abierto y Java.
H. Iniciativa de Google
En el año 2003 Google presenta un escrito en el cual
describe una forma pragmática, escalable y distribuida un
sistema de archivos optimizado para guardar enormes sets de
datos llamado Google Filesystem, el cual estaba hecho para
soportar aplicaciones de procesamiento distribuido intensivo
de datos a larga escala.
En Diciembre de 2004 muestran otro texto definiendo
Mapreduce, un modelo de programación y acompañándolo
de un framework que provee paralelización automática,
tolerancia a fallas, y la escala para procesar cientos de
terabytes de datos en un único trabajo sobre miles de
máquinas.
Al unirlos, estos dos sistemas podrían ser usados para
crear clusters de procesamiento de grandes cantidades de
datos en servidores relativamente baratos y de consumo
masivo.
I. Doug Cutting, Nutch y Hadoop
Ni bien fue publicado el papel sobre el algoritmo
Mapreduce, un impulsor de las tecnologías Open Source,
llamado Douglass Read Cutting, se encontraba trabajando en
un buscador de web alternativo basado en Lucene y Java para
la búsqueda e indexado de contenido.
Para demostrar el poderío de procesamiento del nuevo
software Doug y Mike Cafarella en el año 2005 implementan
su propia versión de Mapreduce y un nuevo sistema de
archivos distribuido, HDFS, tomando como base los trabajos
de Google. Éstos se desprenden más tarde del proyecto
Nutch, mientras él trabajaba para la empresa Yahoo,
obteniendo su propio nombre: “Hadoop”, palabra tomada de
un neologismo creado por el hijo de Doug para nombrar un
elefante de juguete que luego pasa a ser su símbolo.
3
Hadoop se crea como un proyecto Open Source de alto
nivel de la fundación Apache, siendo construido y usado por
una comunidad global de contribuidores, mediante el
lenguaje de programación Java. Yahoo! ha sido el mayor
contribuyente al proyecto, usándolo extensivamente en su
negocio.[8]
J. Google Mapreduce
Mapreduce es un framework para escribir fácilmente
aplicaciones que procesan grandes cantidades de datos
(varios terabytes) en paralelo, en grupos grandes (miles de
nodos) de hardware de consumo de una manera fiable, en alta
disponibilidad.
El cálculo toma un conjunto de pares clave / valor de
entrada, y produce un conjunto de pares clave / valor de
salida. El usuario de la biblioteca de MapReduce expresa la
computación como dos funciones: Mapear y Reducir. Según
Jeffrey Dean, en su trabajo sobre Mapreduce para Google,
muchas tareas del mundo real pueden ser expresadas en ese
modelo.
El Mapeo, escrito por el usuario, toma un par de entradas
y produce un conjunto de pares clave / valor intermedios. La
biblioteca MapReduce junta todos los valores intermedios
asociados con la misma clave intermedia I y se los pasa a la
función Reducir. Esta última, también escrita por el usuario,
acepta una clave intermedia I y un conjunto de valores para
esa clave. Se fusiona estos valores para formar un conjunto
posiblemente más pequeño de los valores. Normalmente solo
ninguno o un valor de salida se produce por invocación de la
función Reducir. Los valores intermedios se suministran a la
función de usuario Reducir a través de un iterador. Esto
permite manejar las listas de valores que son demasiado
grandes para caber en la memoria.
Como ejemplo se podría citar dos conjuntos de datos, la
información del usuario (id, correo electrónico, idioma,
ubicación), y la información de la transacción (transaction-id,
product-id, id-usuario, la compra-cantidad, descripción).
Teniendo en cuenta estos datos, se quisiera encontrar el
número de lugares únicos en los que cada producto ha sido
vendido.
Primero se mapean las transacciones en conjuntos de
clave-valor mediante la función Map, siendo C= userId y V=
productId; luego se hace lo mismo con la tabla de usuarios,
siendo C=userId y V= lugar; por último la función Reduce
toma los lugars e ID de productos y los brinda como datos de
salida en forma de clave-valor, siendo C=productId y
V=location.[9]

Fig. 1. Ejemplo de uso de algoritmo Mapreduce, ingresan compras por
usuario, y datos de usuario y salen productos con país de compra.
K. Implementación de Mapreduce por Hadoop
Un trabajo MapReduce por lo general divide la entrada de
sets de datos en trozos independientes que son procesados por
las tareas de mapeo, de una manera completamente paralela.
El framework clasifica los resultados de los mapas, que son
luego ingresados como tareas a reducir. Por lo general, tanto
la entrada como la salida del trabajo se almacenan en un
sistema de archivos. El marco se hace cargo de la
planificación de tareas y su seguimiento y vuelve a ejecutar
las tareas fallidas.
Posee un sistema de archivos distribuido basado en el
Google File System (GFS) llamado HDFS que permite
replicación en n nodos del clúster, aunque por lo general cada
bloque de 64mb está replicado en 3 nodos, pero esto es
configurable. Aquí se guardan los sets de datos a procesar.
Normalmente los nodos de cómputo y los nodos de
almacenamiento son los mismos, es decir, el marco
MapReduce y el Sistema de archivos HDFS se están
ejecutando en el mismo conjunto de nodos. Esta
configuración permite al framework planificar eficazmente
las tareas en los nodos donde los datos ya están presentes, lo
que resulta en un muy alto ancho de banda total a nivel
clúster.
El marco MapReduce consta de un sólo JobTracker
maestro y un esclavo TaskTracker por clúster del nodo. El
maestro es el responsable de la programación de tareas que lo
componen los puestos de trabajo en los esclavos, el
seguimiento de ellos y de volver a ejecutar las tareas fallidas.
Los esclavos se ejecutan las tareas según las instrucciones del
maestro.
Mínimamente, las aplicaciones especifican la localización
de las entradas y salidas y proveen las funciones de mapeo y
reducción mediante implementaciones apropiadas de
interfaces o clases abstractas. Estos, y otros parámetros de
trabajo, comprenden la configuración de la misma. El cliente
de trabajo de Hadoop luego envía el trabajo ejecutable y la
configuración hasta el servicio JobTracker que asume la
responsabilidad de distribuir el software y la configuración a
4
los trabajadores secundarios (esclavos), programando sus
tareas y proporcionando seguimiento, además de brindar
información de estado y diagnóstico al cliente de trabajo.[10]
L. Ecosistema de Hadoop
En Hadoop se tiene ecosistema muy diverso que crece día
tras día, por lo que es difícil saber de todos los proyectos que
interactúan con Hadoop de alguna forma. Mostraremos los
más comunes a continuación.
Chukwa es un sistema de captura de datos y framework de
análisis que trabaja con Hadoop para procesar y analizar
grandes volúmenes de logs. Incluye herramientas para
mostrar y monitorizar los datos capturados.
Apache Flume es un sistema distribuido para capturar de
forma eficiente, agregar y mover grandes cuantidades de
datos log de diferentes orígenes (diferentes servidores) a un
repositorio central, simplificando el proceso de recolectar
estos datos para almacenarlos en Hadoop y poder analizarlos.
Flume y Chukwa son proyectos parecidos, la principal
diferencia es que Chukwa está pensado para ser usado en
Batch.
Hive es un sistema de Data Warehouse para Hadoop que
facilita el uso de la agregación de los datos, consultas ad-hoc,
y el análisis de grandes datasets almacenados en Hadoop.
Hive proporciona métodos de consulta de los datos usando
un lenguaje parecido al SQL, llamado HiveQL. Además
permite de usar los tradicionales Map/Reduce cuando el
rendimiento no es el correcto. Tiene interfaces JDBC/ODBC,
por lo que empieza a funcionar su integración con
herramientas de BI.
HBase, se trata de la base de datos de Hadoop. HBase es
el componente de Hadoop a usar, cuando se requiere
escrituras/lecturas en tiempo real y acceso aleatorio para
grandes conjuntos de datos. Es una base de datos orientada a
la columna, eso quiere decir que no sigue el esquema
relacional. No admite SQL.
Apache Mahout, es un proyecto para crear aprendizaje
automático y data mining usando Hadoop. Es decir, Mahout
nos puede ayudar a descubrir patrones en grandes datasets.
Tiene algoritmos de recomendación, clustering y
clasificación.
Apache Sqoop (“Sql-to-Hadoop”), es una herramienta
diseñada para transferir de forma eficiente bulk data entre
Hadoop y sistemas de almacenamiento con datos
estructurados, como bases de datos relacionales. Algunas de
sus características son que permite importar tablas
individuales o bases de datos enteras a HDFS. Genera clases
Java que permiten interactuar con los datos importados.
Además, permite importar de las bases de datos SQL a Hive.

Zookeeper es un proyecto de Apache que proporciona una
infraestructura centralizada y de servicios que permiten la
sincronización del cluster. ZooKeeper mantiene objetos
comunes que se necesiten en grandes entornos de cluster.
Algunos ejemplos de estos objetos son información de la
configuración, jerarquía de nombres.
Lucene, se trata de una librería escrita en Java, para
buscar textos. Lucene permite indexar cualquier texto que
deseemos, permitiéndonos después encontrarlos basados en
cualquier criterio de búsqueda. Aunque Lucene sólo funciona
en texto plano, hay plugins que permite la indexación y
búsqueda de contenido en documentos Word, Pdf, XML o
páginas HTML.
Apache Pig, inicialmente desarrollado por Yahoo, permite
a los usuarios de Hadoop centrarse más en el análisis de los
datos y menos en la creación de programas MapReduce. Para
simplificar el análisis proporciona un lenguaje procedural de
alto nivel. Su nombre viene de la siguiente analogía, al igual
que los cerdos comen de todo, el lenguaje de programación
Pig está pensado para poder trabajar en cualquier tipo de
datos. Pig consta de dos componentes, El lenguaje en sí,
llamado PigLatin y el entorno de ejecución, donde los
programas PigLatin se ejecutan.
Jaql es un lenguaje de consulta funcional y declarativo que
facilita la explotación de información organizada en formato
JSON (JavaScript Object Notation), e incluso en archivos
semi-estructurados de texto plano. Diseñado inicialmente por
IBM. Jaql permite hacer select, join, group y filtrar datos
almacenados en HDFS. El objetivo de Jaql es que el
desarrollador de aplicaciones de Hadoop pueda concentrarse
en qué quiere obtener, y no en cómo lo tenga que obtener.
Jaql analiza la lógica y la distribuye en Map y Reduce según
sea necesario.
Avro, es un sistema de serialización de datos. En los
proyectos en Hadoop, suele haber grandes cuantidades de
datos, la serialización se usa para procesarlos y almacenar
estos datos, de forma que el rendimiento en tiempo sea
efectivo. Esta serialización puede ser en texto en plano,
JSON, en formato binario. Con Avro podemos almacenar y
leer los datos fácilmente desde diferentes lenguajes de
programación. Está optimizado para minimizar el espacio en
disco necesario para nuestros datos.
UIMA (Unstructured Information Management
Applications) es un framework para analizar grandes
volúmenes de datos no estructurados, como texto, video,
datos de audio, etc… y obtener conocimiento que sea
relevante para el usuario final. Por ejemplo a partir de un
fichero plano, poder descubrir que entidades son personas,
lugares y organizaciones.[10][11]
5
IV. DESARROLLO
En este trabajo se van a analizar algunos de los casos de
uso del concepto de Big Data más utilizados en el presente
para dar un panorama de cuál será el futuro del análisis de
datos a gran escala. Por otro lado se presentará un caso
concreto tomado de la experiencia del autor en una empresa
que realiza detección de fraudes mediante herramientas de
Big Data, a petición de otras.
Fig. 2. Algunas de las fuentes de datos más utilizadas para procesamiento con
herramientas de Big Data.
A. Sentimiento Social
Se analiza la afectividad de frases para saber la
disposición subjetiva de la gente sobre un objeto en
particular. El mismo puede ser desde un producto y su
competencia, una película, predicciones de bolsa, hasta un
candidato a la presidencia.
Primero se toman datos de fuentes relevantes mediante
“minería de datos”. Hoy en día se utilizan mucho las redes
sociales, aunque las fuentes pueden ser muy variadas.
Más adelante se realiza una clasificación de elementos
sobre los que se desea obtener información relevante al caso,
como por ejemplo en el caso de una impresora podría ser
“facilidad de uso”, “tamaño”, “instalación” o “servicio al
cliente”.
Luego, sobre la base del análisis de frases, en este caso
reseñas de clientes o usuarios, se trata de identificar
conjuntos de palabras que indiquen un sentimiento, mediante
el llamado “Procesamiento de Lenguaje Natural”. Este utiliza
modelos estadísticos, tomando decisiones probabilísticas
basadas en aplicar un peso y polaridad a los mismos.
Por último se combinan para crear un indicador global
sobre ese término.[12]

Fig. 3. Ejemplo de uso de análisis de sentimiento con respecto a términos
relacionados a un producto por Google Product Search.
B. Comportamiento del visitante Web
Se analiza el tráfico de una página para tomar información
relevante a un usuario web y así entender su comportamiento.
Deben tomarse datos desde fuentes como clics en páginas
web en particular (clickstream) y datos de “cookies” que se
han instalado como consecuencia de ingresar a la página que
recogen todo tipo de comportamiento web, como qué páginas
se navega, por cuánto tiempo, cuántas veces se revisita el
sitio, desde qué país, tipo de conexión de internet, y en qué
punto lo abandonan. Además se pueden utilizar registros de
aplicaciones móviles, emails, tweets, sistemas de bases de
datos múltiples, para realizar análisis de datos offline si se los
posee.
Se realiza para ofrecer un servicio personalizado, entender
patrones de conducta de un consumidor para venderle un
producto acorde a sus preferencias, o entender la forma de
venderle uno en particular, aunque también se analizan
ciertos comportamientos para saber si un usuario puede ser
un potencial delincuente, como por ejemplo en sitios de
bancos.
Por último se trata de formar una imagen del visitante web
en base a modelos estadísticos para poder predecir su
comportamiento y tomar acciones acordes, como
personalizar su experiencia web y la de usuarios como él, o
también podría ser para bloquear cierto comportamiento
malicioso.[13]
6
Fig. 4. Ejemplo de preguntas sobre el visitante web y fuentes usadas para
tomar datos para buscar información con respecto a su comportamiento.
C. Análisis Forense de Registros del Servidor
El caso de análisis forense de los llamados “logs” de
servidores sirve para obtener información relevante al
comportamiento de los servicios que se proveen. Cada
servicio registra sus eventos en líneas de archivos de
computadora, guardados en un formato persistente, que lo
identifican unívocamente.
Estos datos son luego utilizados mayormente para analizar
tráfico en un servidor web, estadísticas sobre performance,
picos de transacciones y caídas de servicios, análisis de
cumplimiento de acuerdos de servicios, problemas de
seguridad, entre muchos otros.
En el caso de grandes empresas o programas con un muy
alto nivel de transacciones, la variedad de fuentes de datos, la
velocidad con la que hay que tomar decisiones para evitar
problemas en los servicios, y sobre todo el enorme volumen
de transacciones, hacen que éste caso sea un gran candidato
para la utilización de herramientas de Big Data como
Hadoop.[14]
Fig. 5 Ejemplo de utilización del ecosistema de Hadoop por la empresa
Hortonworks para parsear logs de servidor y obtener información en Excel.
 7

D. Datos de máquinas y sensores

Un sensor es un conversor que mide una cantidad sobre un

elemento físico y la transforma en una señal digital. Los
mismos se usan para monitorear máquinas, infraestructura y
fenómenos naturales entre otros, para detectar eventos
relevantes o como también predecir su funcionamiento, y
actuar en forma acorde.

Algunas fuentes muy usadas son registros de sensores de

infraestructura como equipos de ventilación, puentes,
medidores de energía y temperatura, motores de aviones, clic
de páginas web, GPS, transacciones financieras, logs de red, Fig. 7. Ejemplo de eventos de transporte de camiones listos para ser
procesados, tomando datos como velocidad, riesgo, y localización.
detalles de llamadas, entre otros.

Todo esto se puede usar para ser procesado para analizar
el comportamiento de personas y máquinas y tomar
decisiones en base a ello, ya sea en forma manual o
automática.
Una de las aplicaciones podría ser las llamadas Casas o
Ciudades Inteligentes, las cuales brindan a las personas y los
gobiernos la posibilidad de usar la tecnología para
comprender y transformar en forma benéfica el quehacer
diario.[15]
F. Inteligencia en Análisis de Crimen
Las fuerzas de seguridad generan y manejan una enorme
cantidad de información para investigación y predicción del
crimen. Un departamento puede llegar a tener millones de
llamadas de servicio al año, crear miles de informes de la
policía, y examinar meses de vídeo y audio. Cuando se
analiza la información, los datos pueden crecer de forma
exponencial.
A nivel nacional, los organismos y departamentos tienen
que reducir sus recursos y mano de obra, además de
continuar la tendencia de una disminución de la tasa de
criminalidad. Para ello se requiere un mejor servicio con
menos recursos. Soluciones no tan caras como Hadoop, que
es código abierto, se han utilizado para almacenar y analizar
delincuencia, investigando tendencias criminales y cambios
en la demografía, para así predecir crimen y actuar en
consecuencia.

También está siendo utilizado por los gobiernos en

Fig. 6. Representación del ser humano conectado mediante múltiples
dispositivos, tomados luego como fuentes de datos para análisis de Big Data. software como Palantir Gotham, que utiliza Hadoop para
tomar datos de múltiples fuentes como llamados telefónicos,
transacciones financieras, medios de transporte, conexiones a
E. Datos de Geolocalización internet, y cualquier otro que brinde información sobre
potenciales ataques terroristas. Este caso en particular abre el
Los mismos identifican el lugar en el que se encuentra un debate sobre el derecho a la confidencialidad de los datos
objeto o individuo en un momento en el tiempo, estos datos personales, pero algunos gobiernos sopesan la seguridad por
pueden tomar la forma de coordenadas o hasta calles sobre la misma, afrontando los costos políticos. [17][18]
específicas. Los datos son utilizados para localizar personas o
activos, para las primeras, las empresas pueden saber cuándo
y dónde se mueven las personas, para activos, las empresas
de transporte y logística pueden mantener mejor sus
vehículos y controlar el riesgo.

Esto puede ser usado por ejemplo por aviones o camiones,

para saber la velocidad, altitud, latitud y longitud, eventos
peligrosos y demás datos relevantes. De esta forma se pueden
medir tiempos y gestionar eficiencia, realizar estadísticas, o
saber cuando hubo alguna transgresión, y tomar medidas en
base a ello.[16]
 8

identificación de patrones en textos.

Por ejemplo en una investigación se tuvo que trabajar con

una empresa global establecida en 16 países usando 70
diferentes lenguajes. Se analizan millones de comunicaciones
de diversas fuentes de datos, entre ellas emails, mensajes de
texto y datos sobre pagos, lo cual genera demandas enormes
de IT.

En el mundo del análisis de datos en bases de datos

Fig. 8. Ejemplo de Fuentes de datos diversas tomadas por la aplicación
Palantir Gotham para luchar contra el crimen.
tradicionales estructuradas y relacionales surgen rápidamente
restricciones y cuellos de botella en la ingesta de datos, en el
tipo de algoritmos que se pueden usar y en la velocidad de
análisis. Por otro lado, la velocidad de procesamiento de
datos en éstas genera enormes diferencias.

G. Detección de Fraudes. Donde un set de datos puede ser analizado en el orden un

par de minutos con herramientas de Big Data, en las
tradicionales bases de datos se tardan varias horas, lo cual
Para explicarla tomaremos como ejemplo la empresa
permite trabajar con la totalidad de los datos en vez de lo
donde actualmente trabaja el autor del presente trabajo, ya
usual que es tomar muestras, esto cambia totalmente los
que es un caso representativo y relevante para el estudio del
resultados obtenidos en búsqueda de fraudes porque se
uso de tecnologías de Big Data en el área.
incrementa mucho el error al utilizar sólo una pequeña
porción de los datos, recayendo en que la muestra sea
Ernst & Young, ahora mundialmente conocida como EY
realmente representativa.
es una de las mayores firmas de servicios profesionales del
mundo, que incluyen auditoría, impuestos, finanzas,
contabilidad, servicios de cálculos y estudios actuariales y
asesoramiento en la gestión de la empresa. EY es una de las
llamadas cuatro grandes, junto con PricewaterhouseCoopers,
Deloitte y KPMG. Según la revista Forbes, a finales del año
2013, por su tamaño es la décima mayor empresa privada de
los Estados Unidos.

La misma proporciona servicios para que las empresas

desarrollen y mantengan una sólida reputación por actuar con
ética al encontrar formas para administrar los riesgos,
investigar supuestas conductas inapropiadas y medir las Fig. 9. Muestra de diferencias entre procesamiento de cierto tipo de
transacciones, comparando SQL Server con Hadoop.
implicaciones financieras de los litigios.
Por lo tanto es necesaria la utilización de herramientas que
Cuando existe alguna sospecha de que se están llevando a
permitan analizar grandes volúmenes de datos con velocidad
cabo actividades financieras inusuales, se investiga
tomados de una variedad de fuentes de datos distintas desde
confidencialmente para descubrir evidencia electrónica y
datos estructurados y no estructurados. En este marco viene a
revisar los informes financieros.
ayudar el framework de Hadoop, que permite realizar
preguntas como buscar registros complejos duplicados y
Un área importante de la empresa es la llamada Servicios
buscar palabras sospechosas y correrlas en paralelo, para
de Investigación de Fraudes y Asistencia en Litigios dentro
múltiples sets de datos a la vez en vez de esperar por un
del sector de Auditoría, cuyo enfoque es justamente
SQL.
investigar y actuar en contra del fraude, brindar asistencia en
litigios, y brindar servicios de tecnología y descubrimiento
forense.

Se trabaja muchas veces con herramientas como el

procesamiento de lenguaje natural y minería de datos en
diferentes idiomas. Mientras el procesamiento del lenguaje
natural se dedica a entender el lenguaje humano para poder
explotar el conocimiento lingüístico de los textos, la Minería
de textos se enfoca en la extracción de información e

Fig. 10. Características de la analítica usada en EY para trabajar Big Data
mediante Hadoop.
Durante una investigación de fraude uno de los tipos de
análisis no estructurados que se realizan es el de mensajes de
texto e emails empresariales, el llamado "análisis de
sentimiento", donde se evalúa si la persona estaba triste,
enojada, con miedo, alegría, afecto, o si usó malas palabras,
entre otros. También se evalúan los llamados Heatmaps, o
mapas de calor, donde se evalúa visualmente riesgo en
distintas zonas como ciudades o países.
Fig. 11. Tipos de preguntas que pueden ser preguntadas con respecto a
corrupción con el procesamiento de Hadoop en EY.
Se busca muchas veces información sobre corrupción
como sobornos, pagos y transferencias inusuales, sobrepaso
de aprobaciones y protocolos, y se trata de reconstruir el flujo
de fondos.
Gran parte de los datos se toman de la extracción de datos
de computadoras tomadas por el equipo de EY, de las cuales
se extraen los datos en crudo de los discos rígidos, se mapean
los datos necesarios, se preparan los datos, se conectan las
distintas fuentes de datos, se indexa y por último se
determina si los datos son relevantes a la investigación. Todo
esto tendiente a reconstruir las historias de fraude a lo largo
de uno o dos meses muchas veces.
9
Fig. 12. Tendencias en tipos de analítica usada en la información de acuerdo
a Gartner Research.
Otras veces se analizan directamente los ERPs de la
empresa, que por lo general no están conectados, para buscar
y rastrear transacciones riesgosas buscando potencial fraude.
Éstos análisis se realizan aplicando modelos de fraude como
el del caso Enron y otros, en plataformas con Hadoop como
IBM Biginsights.
Hoy en día existe la demanda de, además de actuar
reactivamente contra el fraude y corrupción, ser proactivo,
con lo cual los clientes requieren aparatos que se instalen en
su datacenter, se los instala con la finalidad de que los datos
se analicen y monitoreen en tiempo real. Además, otro de los
avances es que se está empezando a investigar en las redes
sociales, tomando la mayor cantidad de fuentes de datos
posibles, y realizando nuevas preguntas con las mismas.
Fig. 13. El uso de herramientas de Big Data permite tomar el 100% de los
datos para analizar y se está trabajando para una auditoría proactiva.
Ejemplos de uso de Big Data en EY:
Marco 1: Investigación global financiera de una institución
de un potencial y repentino colapso financiero.
Tiempo: 60 días.
Implicados: 500 personas.
Acciones: Asegurar y mapear más de mil transacciones
únicas de diferentes sistemas de ventas y contabilidad.
Datos: 3 Terabytes cargados para revisión. Múltiples partes
en litigio y distintas investigaciones sobre regulaciones
simultáneas.
Dificultad: Desplegar un acercamiento teniendo en cuenta los
costos para recolectar y analizar emails, datos de ventas de
multiples transacciones y obtener pistas y rastrar los fondos
perdidos de cuentas de clientes y reportarlas a reguladores en

los tiempos requeridos.
Marco 2: Una empresa multinacional listada entre las
Fortune 100 conduce una revisión global anti corrupción.
Tiempo: 120 días.
Datos: 310 discos rígidos recolectados en forma forense. 20
Países. 2 Terabytes de datos cargados. Más de 25 millones de
documentos, 1,3 millones de ellos revisados. Más de 2000
millones de transacciones financieras revisadas. 20 diferentes
sistemas financieros representando 37 unidades de negocios
separadas.
Dificultad : Integrar las comunicaciones por mail individuales
y patrones para cruzar con transacciones financieras para
identificar potenciales pagos impropios, además de
proveedores y empleados de alto riesgo. [19]
V. CONCLUSIONES
El mundo de los datos está creciendo a pasos agigantados,
comunicaciones telefónicas, por mensajes de texto, por
Twitter, Youtube o Facebook, sensores, GPSs, además de las
millones de transacciones personales de todo tipo, se
encuentran mundialmente en el orden de los zetabytes de
datos, pasando a formar cantidades inimaginables
distribuidas a lo largo del planeta, que crecen en forma
exponencial.
Los mismos brindan una fuente de conocimiento
valiosísima para las empresas, además de un creciente
número de fuentes de trabajo para los científicos de datos.
Siendo estos últimos, profesionales con habilidades a medio
camino entre las matemáticas, análisis de inteligencia
artificial y un alto conocimiento del contexto en que se
realiza el análisis de datos.
Aunque esta nueva era posa varias dificultades técnicas
para la toma de decisiones, que antes se realizaba mediante
análisis de muestras de datos, y hoy, por la creciente
competencia y necesidad de brindar más valor al cliente, se
intenta realizar en la totalidad de los datos, y en un tiempo
récord.
Para esto se han creado nuevas tecnologías que no
reemplazan las bases de datos relacionales tradicionales, sino
que las complementan, y permiten obtener una mirada crítica
y más transparente sobre grandes cantidades de datos no
estructurados, permitiendo así encontrar los “tesoros”
escondidos y enterrados bajo esta masa de información
desordenada.
El futuro del Big Data proporciona muchas interrogantes,
pero eso sí, sabemos que no hay vuelta atrás, y que es una
consecuencia lógica de la explosión de las tecnologías
baratas y al alcance de los consumidores, que va a permitir
una mejor utilización de la información, mejorar el
10
rendimiento y comprensión en las organizaciones, entender
mejor a los clientes y al público, implementar mejores
estrategias de negocio, automatizar el proceso de toma de
decisiones y hacerlo más simple, entre otros.
VI. BIBLIOGRAFÍA
[1] Wikipedia, http://en.wikipedia.org/wiki/Data_science. Recuperado el 24
de Mayo del 2014.
[2] F. Provost, T. Fawcett, "Data Science for Business, What you need to
know about data mining and data-analytic thinking", Ed. O'Reilly
Media, 2013, pp. 4-14.
[3] Judith Hurwitz, Alan Nugent, Fern Halper, Marcia Kaufman, “Big Data
for Dummies”, Ed.Wiley, 2013, pp. 10-11.
[4] Wikipedia, http://es.wikipedia.org/wiki/Hadoop. Recuperado el 24 de
Mayo del 2014.
[5] Wikipedia, http://en.wikipedia.org/wiki/Unstructured_data. Recuperado
el 24 de Mayo del 2014.
[6] Thomas Davenport, “Big Data at Work: Dispelling the Myths,
Uncovering the Opportunities”, Harvard Business Review Press, 2014,
pp. 10.
[7] MongoDB, http://www.mongodb.com/nosql-explained, Recuperado el
24 de Mayo del 2014.
[8] Tom White, “Hadoop, The definitive Guide”, Ed O’Reilly, 2011, pp 9-
12.
[9] Google,http://static.googleusercontent.com/media/
research.google.com/en//archive/mapreduce-osdi04.pdf, Recuperado el
24 de Mayo del 2014.
[10] Apache Hadoop, http://hadoop.apache.org/docs/r1.2.1/
mapred_tutorial.html, Recuperado el 24 de Mayo del 2014.
[11] Ticout, http://www.ticout.com/blog/2013/04/02/introduccion-a-hadoop-
y-su-ecosistema/, Recuperado el 24 de Mayo del 2014.
[12] D. Jurafsky, http://www.stanford.edu/class/cs124/lec/sentiment.pdf,
Recuperado el 24 de Mayo del 2014.
[13] Wikipedia, http://es.wikipedia.org/wiki/An%C3%A1lisis_web,
Recuperado el 24 de Mayo del 2014.
[14] Hortonworks, http://hortonworks.com/hadoop-tutorial/how-to-refine-
and-visualize-server-log-data, Recuperado el 24 de Mayo del 2014.
[15] Hortonworks, http://hortonworks.com/hadoop-tutorial/how-to-analyze-
machine-and-sensor-data, Recuperado el 24 de Mayo del 2014.
[16] Hortonworks, http://hortonworks.com/use-cases/analyze-geolocation-
data-hadoop/, Recuperado el 24 de Mayo del 2014.
[17] Hortonworks, http://hortonworks.com/blog/hadoop-your-partner-in-
crime, Recuperado el 24 de Mayo del 2014.
[18] Palantir Software, http://www.palantir.com , Recuperado el 24 de Mayo
del 2014.
[19] EY, http://www.ey.com/US/en/Services/Assurance/Fraud-
Investigation---Dispute-Services, , Recuperado el 24 de Mayo del 2014.
VII. BIOGRAFÍA
Sergio Muzzupappa nació en Buenos Aires,
Argentina, el 14 de Marzo de 1983. Es un
profesional de la tecnología, que toda su vida se ha
dedicado a la computación, estando a su vez
finalizando la última materia de la carrera de
Ingeniería en Informática en la Universidad de
Palermo, por otro lado, teniendo como hobby la
psicología y habiendo realizado la carrera de
Licenciatura en la misma además de un postgrado
en Psicoterapia Cognitiva. Hoy en día trabaja en
EY, en el área de IT para la sección de Fraudes y
Disputas, soportando plataformas y aplicaciones
diversas, entre ellas varias ligadas al manejo de grandes cantidades de datos.