Big Data Generado por Personas, ¿cómo se usa?

Hemos enumerado una serie de desafíos

para usando datos no estructurados generados por actividades humanas. Ahora veamos
algunas de las tecnologías emergentes para enfrentar estos desafíos. Y vea algunos
ejemplos que convierten los datos no estructurados en información valiosa. Aunque
los datos no estructurados especialmente el tipo generado por las personas tiene
una serie de desafíos. La buena noticia es que la cultura empresarial de hoy está
cambiando para enfrentar estos desafíos y aprovechar al máximo dichos datos. Como
se suele decir, un desafío es una oportunidad perfecta. Este es sin duda el caso de
big data y estos desafíos han creado una industria tecnológica propia. Esta
industria está principalmente centrada o como diríamos, en capas o apiladas,
alrededor de unos pocos marcos fundamentales de big data de código abierto. Las
herramientas Need big data están diseñadas desde cero para administrar información
no estructurada y analizarla. La mayoría de estas herramientas se basan en un marco
de big data de código abierto llamado Hadoop. Hadoop está diseñado para admitir el
procesamiento de grandes conjuntos de datos en un entorno informático distribuido.
Esta definición ya te daría una pista de que aborda el primer desafío. Es decir, el
volumen de información no estructurada. Hadoop puede manejar grandes lotes de
información distribuida, pero más a menudo hay una necesidad de un procesamiento en
tiempo real de las personas generadas datos como Twitter o Facebook
actualizaciones. El monitoreo de cumplimiento financiero es otra área de nuestro
procesamiento central de tiempo es necesaria, en particular para reducir los datos
del mercado. Los datos de redes sociales y de mercado son dos tipos de lo que
llamamos datos de alta velocidad. Storm y Spark son otros dos marcos de código
abierto que manejan estos datos en tiempo real generados a una velocidad rápida.
Tanto Storm como Spark pueden integrar datos con cualquier base de datos o
tecnología de almacenamiento de datos. Como hemos subrayado antes los datos no
estructurados no tiene un modelo de datos relacional, por lo que generalmente no
encaja en el modelo tradicional de data warehouse basado en bases de datos
relacionales. Los almacenes de datos son repositorios centrales de datos integrados
de una o más fuentes. Los datos que se almacenan en almacenes, se extraen de
múltiples fuentes. Se transforma en una forma estructurada común y puede ralentizar
eso en la base de datos central para uso por los trabajadores creando informes
analíticos en toda una empresa. Este proceso de carga de transformación exacta se
llama comúnmente ETL. Este enfoque era bastante estándar en los sistemas de datos
empresariales hasta hace poco. Como probablemente notó, es bastante estático y no
encaja bien con el mundo dinámico de big data actual. Entonces, ¿cómo las empresas
de hoy evitan este problema? Muchas empresas hoy en día están utilizando un enfoque
híbrido en el que sus datos estructurados más pequeños permanecen en sus bases de
datos relacionales, y grandes conjuntos de datos no estructurados se almacenan en
bases de datos NoSQL en la nube. Las tecnologías NoSQL Data se basan en conceptos
no relacionales y proporcionan opciones de almacenamiento de datos típicamente en
nubes de computación más allá de las bases de datos relacionales tradicionales
centradas casas de tasas. La principal ventaja de usar soluciones NoSQL es su
capacidad para organizar los datos para un acceso escalable que se ajuste al
problema y objetivos relacionados con cómo se utilizarán los datos. Por ejemplo, si
los datos se utilizarán en un análisis para encontrar conexiones entre conjuntos de
datos, entonces la mejor solución es una base de datos de gráficos. Neo4j es un
ejemplo de una base de datos de gráficos. Redes gráficas es un tema que el curso de
análisis gráfico más adelante en esta especialización, vamos a explicar en
profundidad. Si se accede mejor a los datos utilizando pares de valores clave como
un escenario del motor de búsqueda, la mejor solución es probablemente una base de
datos emparejada de valores clave dedicada. Cassandra es un ejemplo de una base de
datos de valores clave. Estos y muchos otros tipos de sistemas NoSQL se explicarán
más adelante en el curso dos. Así que ahora estamos seguros de que hay tecnologías
emergentes para desafíos individuales para gestionar los datos no estructurados
generados por personas. Pero, ¿cómo se aprovecha de estos para generar valor? Como
vimos, el big data debe pasar a través de una serie de pasos antes de generar
valor. Es decir, acceso a datos, almacenamiento, limpieza y análisis. Un enfoque
para resolver este problema es ejecutar cada etapa como una capa diferente. Y use
las herramientas disponibles para adaptarse al problema en cuestión, y escale
soluciones analíticas a big data. En las próximas conferencias, veremos
herramientas importantes que puedes usar para resolver sus problemas de big data
además de los que ha visto hoy. Ahora vamos a dar un paso atrás y recordarnos cuál
era el valor. ¿Recuerdas cómo las empresas pueden escuchar la voz real de los
clientes usando big data? Es este tipo de datos generados lo que lo habilitó.
Análisis de sentimientos analiza las redes sociales y otros datos para encontrar si
las personas se asocian positiva o negativamente con su negocio. Las organizaciones
están utilizando el procesamiento de datos personales para entender las verdaderas
preferencias de sus clientes. Ahora tomemos un divertido cuestionario para adivinar
cuánto analizan las empresas de datos de Twitter todos los días para medir el
sentimiento en torno a su producto. La respuesta es 12 terabytes al día. Para
comparar, necesitarías escuchar continuamente durante dos años para terminar de
escuchar 1 terabyte de música. Otro ejemplo de área de aplicación para datos
generados por personas es el modelado y predicción del comportamiento de los
clientes. Amazon, Netflix y muchas otras organizaciones, utilizan análisis para
analizar las preferencias de sus clientes. Basado en el comportamiento del
consumidor, las organizaciones sugieren mejores productos a los clientes, y a su
vez tienen clientes más felices y mayores beneficios. Otra área de aplicación donde
el valor viene en forma de impacto social y bienestar social, es la gestión de
desastres. Como han visto en mi ejemplo de incendios forestales, hay muchos tipos
de big data que pueden ayudar con la respuesta a desastres. Los datos en forma de
fotos y tuits, ayudan a facilitar una respuesta colectiva a situaciones de
desastre, tales como evacuaciones a través de la ruta más segura basada en la
retroalimentación de la comunidad a través de las redes sociales. También hay redes
que convierten el aprovisionamiento de multitudes y el análisis de big data en
herramientas colectivas de respuesta ante desastres. La Red Internacional de
Mapadores de Crisis, también llamada Crisis Mappers Net, es la más grande de estas
redes y incluye una comunidad internacional activa de voluntarios. Crisis Mappers
utilizan big data en forma de imágenes aéreas y satelitales, mapas participativos y
actualizaciones en vivo de Twitter para analizar los datos utilizando plataformas
geoespaciales, visualización avanzada, simulación en vivo y modelos computacionales
y estadísticos. Una vez analizados los resultados se reportan a las agencias de
respuesta rápida y humanitaria en forma de aplicaciones móviles y web. En 2015,
justo después del terremoto de Nepal Crisis Mappers multitud fuente el análisis de
los tuits y los principales medios de comunicación para acceder rápidamente a los
daños causados por desastres y a las necesidades e identificar dónde se necesita
ayuda humanitaria. Este ejemplo es sorprendente y muestra cómo el big data puede
tener enormes impactos para el bienestar social en tiempos de necesidad. Puede
obtener más información sobre esta historia en el siguiente enlace. Como resumen,
aunque hay desafíos al trabajar con personas no estructuradas generan datos a una
escala y velocidad que las aplicaciones demandan. También hay nuevas tecnologías y
soluciones que están siendo utilizadas por muchas aplicaciones para generar valor a
partir de la rica fuente de información.