Data Analytics y Big Data PDF

DATA ANALYTICS Y BIG DATA
UNA EXPLICACIÓN SUFICIENTEMENTE COMPLEJA Y ENTENDIBLE PARA ROLES NO TÉCNICOS
PARTE 1
LO BÁSICO
O CÓMO SER CAPAZ DE MANTENER UNA
CONVERSACIÓN CON GEEKS SIN SENTIRSE
AVERGONZADO
By TECHBIZDESIGN.COM
DATA ANALYTICS Y BIG DATA – LO BÁSICO Diseño computacional – www.techbizdesign.com
Sobre datos
La importancia del dato, tipos de datos, formatos, tipos de bases de datos…
Sobre análisis
Tipos de análisis (Diagnóstico y descriptivo, predictivo, prescriptivo, experimental)
Lo básico es Sobre dominios analíticos

Portales, mesa de trabajo, laboratorios…
Capacidades analíticas
Informes, cuadros de mando, ciencia de datos…
Roles en Data Analytics

Volumen de datos producidos por IoT a día de hoy
25
Un coche moderno Gb por
hora
totalmente instrumentado
150k
Puntos de
Un parque eólico típico datos por
segundo
51,2k
Un avión (jet) totalmente Gb por
hora
instrumentado
500M
Un proyecto de smart Lecturas
metering por día
500
Un motor de avión Gb por
día
comercial
Lo que está pasando en la red en un solo minuto
Esta actividad significa:
Los usuarios de Internet generan sobre 2,5

quintillones de bytes de datos cada día
(como ejemplo, 4 petabytes son generados
por Facebook cada día)
90% de todos esos datos han sido creados

en los últimos dos años
En 2020, habrán acerca de 40 trillones de

gigabytes de datos (40 zettabytes)
En 2020, cada persona generará 1,7

megabytes en un solo segundo
Fuente:
https://www.domo.
com/learn/data-
never-sleeps-7
Lo que pasaba en la red en un solo minuto en 2012
La cuestión es que en 2012 solo el 0,5% de

todos estos datos eran analizados
Pero hoy…
El 97,2% de las organizaciones están

invirtiendo en Big Data e IA
Usando Big Data, Netflix ahorra 1 billón de

dólares por año en retención de cliente
Los trabajos relacionados con Data Science y

analítica llegarán pronto a los 2,7 millones
Los negocios ganarán 430 billones de

Fuente:
https://www.domo.
dólares si optan por una aproximación data-
com/learn/infograp
hic-data-never-
driven
sleeps#/
Pero muy probablemente tu esto ya lo sabías
¿no?
Pero quizás lo que no sabes es que no es un tema de volumen. Es más

un tema de velocidad y negocio…
EXPONENCIAL (3,8)
¿Conoces la Ley de Moore? El número de
transistores en un circuito integrado denso se
dobla cada dos años aproximadamente.
y=2 x
(2,4)
En el mismo periodo, el coste de las
comunicaciones se reduce a la mitad, la
(1,2) velocidad y el número de servidores en
(0,1) Internet se duplica.
Y cada 18 meses se duplica la RAM de

nuestros dispositivos personales
Por que vivimos en la ”Era de los datos”
Entre 1999 y 2009 tratamos la información como CONTROL

Nuestro foco era generar informes, lidiar con cosas predecibles y descubrir datos e
informaciones útiles muy orientadas a las finanzas
LOS DATOS VAN A
Entre 2010 y 2020 estamos tratando la información como GASOLINA
SER LOS NUEVOS
Nuestro foco es crear una inteligencia viva, embebida en nuestros sistemas IT y usable en
toda la corporación
ACTIVOS
A partir de 2021 trataremos la información como un ACTIVO
EMPRESARIALES
Nuestro foco será generar un negocio basado en algoritmos, expandir el conocimiento y
hacerlo ubicuo, crear ecosistemas y actuar colaborativamente con gobiernos y otros
negocios
Fuente: Información pública de Gartner y referencias de Internet

De acuerdo. Entonces…
¿Qué son los DATOS?

DATOS estructurados DATOS semi-estructurados DATOS no estructurados
Nuestros ficheros Excel y bases de datos Un paraíso para los desarrolladores Videos, imágenes, textos, tweets, logs…
tradicionales
DATOS estructurados DATOS semi-estructurados DATOS no estructurados
Los tipos de datos estructurados son principalmente Los tipos de datos semiestructurados son Hay muchos tipos de datos no estructurados:
archivos de texto delimitados como el formato CSV, principalmente JSON y XML archivos de texto sin formato y documentos (Word,
archivos de datos tabulares como Excel y bases de txt ...), servidor, sitio web y registros de aplicaciones,
datos. datos de sensores (Satélite, meteo ...), imágenes,
La información se estructura utilizando categorías o archivos de video, archivos de audio, correos
etiquetas para separar diferentes elementos en el electrónicos, datos de redes sociales ...
Los datos responden a un modelo de datos documento. Las relaciones semánticas se definen en
abstractos que organiza los elementos principales en estas categorías.
las entidades y define sus relaciones. Los datos se almacenan en registros fácilmente No hay un modelo de datos predefinido en esos
Hay un contenido semántico asignado a cada identificables. Esta característica los hace flexibles y diferentes tipos de datos. Por lo tanto, no existe una
elemento de acuerdo con su relación con otras fáciles de entender para los desarrolladores. forma general y formal de extraer los datos
entidades. Existe un riesgo de ambigüedad e inconsistencia Diferentes tipos de datos en el mismo documento o
Ha habido un proceso previo de modelado y relacionado con este tipo de datos archivo, normalmente con una relación semántica
formalización sobre los datos. desconocida entre los diferentes elementos.
{ Grandes cantidades de este tipo de datos se generan
“quality”: {
“noise_perc”: 22 exponencialmente. Representan la mayoría de los
“quality_txt”: “good”
}
repositorios de datos en todo el mundo.
“values”: {
“probability”: 85
“probability_txt”: “high”
“intensity”: 65
}
}
Hay un tsunami de datos principalmente no 2017

125 Exabytes
estructurados acercándose
Creciendo un 42,5% cada DATOS

79,2%
año
No estructurados
2013
37,4 Exabytes
Creciendo un 22,4% cada año
20,8%
DATOS
estructurados
Recuerda…
Fuente: https://lawtomated.com/structured-data-vs-unstructured-
data-what-are-they-and-why-care/
Base de datos: Una colección organizada de datos, generalmente almacenada y accesible electrónicamente desde
un sistema computerizado
Base de datos relacional - SQL NoSQL

Generalmente se consulta a través de T-SQL para hacer preguntas sobre los datos de Un conjunto de soluciones de bases de datos que están diseñadas para alojar y
una manera muy bien entendida trabajar con datos no relacionales en su núcleo
Indexado que optimiza la consulta de los datos o lo hace más rápido Buena alternativa a las bases de datos relacionales o a Hadoop (Hay alrededor de
Orientado a transacciones que mantienen los datos en un estado consistente 150 tipos diferentes de bases de datos NoSQL que no son Hadoop)
Normalmente, costoso de escalar y no diseñado para tiempo real A menudo se centra en la alta escalabilidad, la alta disponibilidad y la coherencia
eventual, y fue diseñado inicialmente por Google y AWS para almacenar grandes
Fundamentalmente diseñado para alojar datos relacionales, no otros tipos de datos volúmenes y gran variedad
Bueno para el desarrollo pero incómodo para TI una vez en producción
Base de datos: Una colección organizada de datos, generalmente almacenada y accesible electrónicamente desde
un sistema computerizado
Base de datos relacional - SQL NoSQL

RDBMS dos sabores diferentes, OLTP y OLAP Hay diferentes categorías de bases de datos No SQL:
OLTP o procesamiento transaccional en línea orientado a sistemas operativos Clave-valor volátil, clave-valor persistente, columna ancha, documento y grafo
diseñados para recibir nuevos datos, inserciones, actualizaciones y eliminaciones.
Datos normalizados.
OLAP o procesamiento analítico en línea orientado a sistemas de informes
diseñados y optimizados para leer los resultados de datos a menudo agregados o
resumidos. Datos no normalizados.
Fácil de usar y de poner en marcha | Universal, compatible con muchas Sin inversión para el diseño del modelo | Ciclos de desarrollo rápidos | En general,
PROS
herramientas | Buenas en cargas de trabajo de alto rendimiento | Buenas para datos más rápidas que el SQL | Funciona bien en el Cloud
estructurados
Costosa en tiempo para entender y diseñar la estructura de la base de datos | Puede No aconsejable para datos interconectados | Técnicamente todavía en maduración |
ser difícil de escalar CONS Pueden llegar a tener tiempos de respuesta lentos, pero mejorando rápidamente
Fuente: https://www.quora.com/What-are-the-differences-between-the-SQL-and-NoSQL-databases
Lo pillo
¿Cómo debo gestionar los datos para obtener valor?

El CICLO DE VIDA DEL DATO o cómo crear conocimiento y valor a partir de

los datos
FUENTE DE DATOS INGESTA PREPARACIÓN ALMACENAMIENTO DESCUBRIMIENTO
Analítica exploratoria Recomendación de

Integrar fuentes de Construir pipelines Procesar y Cuadros de manos e informes negocio
Almacenar datos
datos de datos transformar datos
Modelización estadística Acción de negocio
Machine learning
. Sensores
. LIMPIEZA de datos . AREAS DE ENTRADA
de datos
. PORTAL de
información
VALOR
. Móvil . ADMINISTRACIÓN . MESA DE TRABAJO
. TIEMPO REAL . Data LAKES
. Logs de datos (Data analítico
WRANGLING)
. Datos tabulares . CASI TIEMPO REAL . EDW (Enterprise Data . LABORATORIO de
. Social . CALIDAD de datos Warehouse)
. BATCH Data Science
. Telemetría . ENRIQUECIMIENTO . VIRTUALIZACIÓN de
. Inteligencia
… de datos datos (Datamarts lógicos)
operacional
GOBERNANZA | Seguridad, mantenimiento, calidad, operaciones, trazabilidad…

El CICLO DE VIDA DEL DATO y la analítica de datos

FUENTE DE
DATOS INGESTA PREPARACIÓN ALMACENAMIENTO DESCUBRIMIENTO VALOR
Cuadros de mandos
Recomendación de
Integrar fuentes de
Construir pipelines
Acción de negocio
Machine learning
transformar datos
Almacenar datos
Modelización
exploratoria
estadísitica
e informes
Procesar y
Analítica
de datos
negocio
datos
INGENIERÍA DE DATOS
BUSINESS
INTELLIGENCE
ANALÍTICA DE
NEGOCIO
DATA SCIENCE
Interesante…
¿Qué puedo conseguir de los datos ? ¿Qué tipo de

análisis puedo realizar?
Tipos de analítica de datos
Esta es la contribución analítica Éste es el aporte humano
Descriptivo ¿Qué ha pasado?
Exploratorio ¿Qué está pasando?
Diagnóstico ¿Por qué ha pasado?

DECISION ACCIÓN
Predictivo ¿Qué pasará?
Prescriptivo ¿Cómo puedo aprovecharlo? SOPORTE A LA DECISIÓN
Experimental ¿Cómo debo hacerlo? ¿Funcionará bien? AUTOMATIZACIÓN DE LA DECISIÓN

1. Descriptivo 2. Diagnóstico (Exploratorio) 3. Diagnóstico (Explicativo)

El objetivo de esta analítica es presentar Esto es esencialmente una inmersión La analítica explicativa busca contar historias
hechos numéricos y resumidos sobre el profunda en los datos de una manera ad hoc, con datos.
desempeño del negocio en el pasado. Ayuda a pero estructurada, para comprender patrones y Las diferencias con lo anterior son muy pocas,
los analistas a comprender los eventos que confirmar hipótesis. La mejor analogía para el excepto que aquí nos enfocamos en tratar de
ocurrieron durante el período pasado. análisis exploratorio es un sabueso que recoge encontrar la causa raíz, no solo los patrones
Esta es la forma más temprana de análisis, un olor y lo persigue.
Se trata solo de responder preguntas y presentar
también llamada "informes", que resume los Es la forma de familiarizarse con los datos y hacer a una audiencia, algo que normalmente hacen
datos para comprender cómo funcionó en un una inmersión profunda. los analistas y gerentes
período de tiempo determinado Normalmente, los analistas lo hacen de manera Esta etapa suele ser el preludio de las próximas
Su objetivo es comparar diferentes segmentos y ad-hoc utilizando SQL y herramientas analíticas acciones tomadas en el negocio basadas en los
períodos de tiempo. específicas (segmentación y creación de perfiles, resultados del negocio y las respuestas
Presentado normalmente predefinido y pre- herramientas gráficas ...) en lugar de informes producidas por el análisis
enlatado estándar o paneles.
4. Predictivo
El objetivo del análisis predictivo es identificar la
probabilidad de resultados futuros basados
en datos históricos, estadísticas y aprendizaje
automático.
Es una predicción totalmente basada en datos
(no lógica o intuición) que utiliza datos históricos
para comprender el rendimiento pasado.
El manejo de grandes cantidades de datos es
necesario para predicciones precisas
Es un tipo de análisis que utiliza la
automatización y el aprendizaje
automático de forma intensiva
Capaz de dibujar predicciones de tendencias en
tiempo real
Fuente: https://www.sapanalytics.cloud/resources-predictive-forecasting/
5. Prescriptivo
El objetivo de la analítica prescriptiva es identificar
formas y medios para aprovechar los hallazgos y
las predicciones proporcionadas por las etapas
anteriores (exploratorio, explicativo y predictivo)
El uso intensivo de patrones y predicciones
producidos anteriormente requiere análisis Categorizar Aplicar Tomar Actualizar & Probar o Tomar
Detectar Formular
& procesar modelos acciones relacionar refutar acciones
adicionales para obtener mejores resultados eventos
eventos analíticos
hipótesis
iniciales datos hipótesis prescritas
comerciales
Para comenzar con este tipo de análisis debes
considerar presupuestos, tiempos y recursos El flujo de proceso recomendado para la analítica prescriptiva
humanos. Además, el coste- beneficios deben ser
bien evaluado con anterioridad Sus principales riesgos son que: Otros riesgos involucrados podrían ser:
. Los datos disponibles no se procesen ni analicen por . Tecnología de gestión de datos insuficiente
completo . Herramientas de software inmaduras
¿Qué tipo de ideas buscamos?
. Los datos sean procesados pero no se formulen hipótesis . Énfasis desequilibrado en proyectos sobre
. Diferentes plazos | Pasado, presente y futuro
. Diferentes precisiones | Hechos probados, . Las hipótesis no sean probadas ni refutadas percepciones en el pasado
hipótesis fuertes o hipótesis confusas definitivamente . Sistemas mal diseñados
. Diferentes paradigmas | Preguntas específicas, . Se formulen ideas críticas, pero no se tomen medidas.
buceo en los datos o historias alternativas
. Diferentes alcances | Específico de la organización,
específico del proceso o de toda la empresa
6. Experimental
La diferencia clave entre el análisis prescriptivo y
el análisis experimental es que el análisis
prescriptivo se utiliza con simulación dentro de
la empresa. La analítica experimental trata con
experimentos reales realizados en el
campo con clientes o sujetos reales
Este tipo de análisis busca implementar un plan
en un subconjunto y probar múltiples
alternativas para encontrar los mejores
resultados.
Ayuda mucho a identificar variables ambientales
hasta ahora desconocidas
Normalmente utilizamos herramientas y técnicas
como pruebas de muestra, pruebas A / B o
pruebas multivariadas, entre otras.

¿Cuáles son las maneras de interactuar con los datos?

¿Cómo puedo ser capaz de aplicar esos tipos de
Analítica de datos?
Navegar a través de los Dominios Analíticos
El portal de El banco de trabajo El laboratorio de El HUB de Inteligencia

información analítico ciencia de datos Artificial
Proporciona información confiable a Empodera a los usuarios de negocio Apoya al negocio en la entrega de Ofrece tecnología que parece emular el
los usuarios empresariales en forma de con la capacidad de producir y publicar resultados analíticos avanzados, rendimiento humano
informes o cuadros de mando información de manera autónoma, utilizando modelos predictivos, análisis
ofrecidos por las herramientas principalmente a través de prescriptivos, aprendizaje automático y
tradicionales de Business Intelligence herramientas de preparación de datos otras capacidades analíticas
(BI) de autoservicio y descubrimiento sofisticadas.
visual de datos

El portal de información
Por lo general, está dirigido por especialistas en
tecnología como el equipo de TI, que accede a
fuentes de datos y produce y publica contenido
de Business Intelligence.
Las capacidades analíticas de este dominio deben
seleccionarse cuando se requieren métricas
confiables y no otras como agilidad o flexibilidad.
Es un dominio muy dirigido donde la autonomía
para obtener las respuestas no es un factor
decisivo.
ENTERPRISE REPORTING - INFORMES DASHBOARDING – CUADROS DE MANDO
Las CAPACIDADES ANALÍTICAS aquí son
Los informes operativos son informes y cuadros de mando Los cuadros de mando representan un estilo de informes que
informes empresariales, cuadros de mando,
confiables, aprobados y altamente controlados en cuanto a su agrega y muestra métricas de rendimiento (KPI), lo que les
OLAP: procesamiento analítico en línea, consultas producción. Estos se distribuyen automáticamente a un gran permite ser examinados de un vistazo por todo tipo de usuarios.
ad hoc, BI móvil e informes en tiempo real: número de usuarios de negocio y clientes externos, o bien se También muestran métricas utilizando infografías como diales,
inteligencia continua. integran en aplicaciones. indicadores y "semáforos", que indican el progreso hacia
Los roles orientados al negocio involucrados en Este tipo de herramienta analítica proporciona una vista de objetivos definidos. En algunos casos, los paneles evolucionan
este dominio son el consumidor de información y informes de varias páginas de datos y visualizaciones hasta convertirse en "aplicaciones" en sí mismo.
incrustadas en una aplicación.
el administrador de datos Dashboarding es una poderosa herramienta de visualización para
usuarios de negocio porque proporciona una versión única de la
Los roles orientados a especialistas en TI o verdad y comunica información en el contexto de un proceso de
tecnología involucrados en este dominio son negocio o el rol del usuario.
modelador de datos, desarrollador de BI y gerente
de calidad de datos
decisivo.
OLAP – Procesamiento Analítico CONSULTA AD-HOC
El análisis OLAP permite a los usuarios analizar datos que se Una solución de consulta ad hoc proporciona un módulo de
informes empresariales, cuadros de mando,
han agregado previamente para responder a preguntas Inteligencia empresarial de autoservicio altamente gobernado
OLAP: procesamiento analítico en línea, consultas empresariales específicas en un cubo OLAP con varias que permite a los desarrolladores o usuarios avanzados
ad hoc, BI móvil e informes en tiempo real: dimensiones para permitir un rendimiento de consulta y empresariales crear sus propias consultas, informes y gráficos
inteligencia continua. cálculo más rápido. desde un explorador.
Los roles orientados al negocio involucrados en Es compatible con un estilo de análisis conocido como "cortar Pueden crear consultas, informes y gráficos en un origen de datos
este dominio son el consumidor de información y y picar". Los usuarios pueden navegar por rutas de detalle modelado. Puede ser agregado o granular, con cierta latencia y
multidimensionales que van hacia el fondo o hacia arriba de varias áreas temáticas. Los requisitos de producción pueden
el administrador de datos
acuerdo a sus necesidades. cambiar
Los roles orientados a especialistas en TI o
tecnología involucrados en este dominio son
modelador de datos, desarrollador de BI y gerente
de calidad de datos
decisivo.
INTELIGENCIA DE NEGOCIO MÓVIL INFORMES EN TIEMPO REAL
informes empresariales, cuadros de mando, La inteligencia empresarial móvil es la entrega de capacidades Este es un conjunto más amplio de bloques de creación que
como informes, paneles de control, descubrimiento de datos incluyen herramientas de procesamiento de flujo de eventos,
OLAP: procesamiento analítico en línea, consultas visuales y capacidades básicas de análisis a través de agentes de middleware/eventos de mensajería y más
ad hoc, BI móvil e informes en tiempo real: dispositivos móviles (tabletas y smartphones). herramientas de análisis de diagnóstico que permiten a los
inteligencia continua. usuarios sumergirse profundamente en un evento una vez que se
Esta es una opción cada vez más en las modernas
detecta.
Los roles orientados al negocio involucrados en herramientas de BI y análisis, lo que proporciona
este dominio son el consumidor de información y oportunidades para conectarse y explorar datos para crear Estas herramientas están 100% enfocadas para proporcionar
el administrador de datos nuevos conocimientos en todas partes con cualquier inteligencia operativa para situaciones en las que los datos en
dispositivo. tiempo real de los últimos segundos o minutos mejoran
Los roles orientados a especialistas en TI o La navegación en estas herramientas se logra a través de significativamente las decisiones empresariales.
tecnología involucrados en este dominio son interfaces táctiles que consultan datos remotos o locales. Es una tendencia obvia que los informes en tiempo real están
modelador de datos, desarrollador de BI y gerente tratando de ofrecer información prescriptiva sobre las mejores
de calidad de datos medidas disponibles que se deben tomar en respuesta a la
situación, cerrando el ciclo prescriptivo.
Por lo general, está dirigido por especialistas en CONSUMIDOR DE
tecnología como el equipo de TI, que accede a INFORMACIÓN DATA STEWARD
de Business Intelligence. Este es un rol común a través de Un administrador de datos es
todos los dominios. un rol dentro de una
Las capacidades analíticas de este dominio deben organización responsable de
Representa al usuario final que
seleccionarse cuando se requieren métricas utilizar los procesos de gobierno
obtiene valor de las
confiables y no otras como agilidad o flexibilidad. herramientas y capacidades de datos de una organización
analíticas y las utiliza para tomar para garantizar la adecuación de
Es un dominio muy dirigido donde la autonomía los elementos de datos, tanto el
decisiones basadas en datos
para obtener las respuestas no es un factor contenido como los metadatos
decisivo.
Las capacidades analíticas aquí son informes GESTOR DE LA CALIDAD DEL
empresariales, cuadros de mando, OLAP: MODELIZADOR DE DATOS DESARROLLADOR DE BI
DATO
procesamiento analítico en línea, consultas ad
Este rol entiende y traduce las Es responsable de diseñar Es responsable de coordinar las
hoc, BI móvil e informes en tiempo real: necesidades empresariales en soluciones de nivel empresarial actividades para completar los
inteligencia continua. modelos de datos que admiten para bases de datos estándares de calidad y asesorar
Los ROLES ORIENTADOS AL NEGOCIO soluciones a largo plazo. multidimensionales muy sobre cómo se gestionan estos
grandes y planificar soluciones sistemas de calidad.
involucrados en este dominio son el consumidor Trabaja para implementar
estrategias de datos, construir de Business Intelligence. Informa sobre el rendimiento e
de información y el administrador de datos
flujos de datos y desarrollar También crea e implementa indicadores en contra de los
Los ROLES ORIENTADOS A ESPECIALISTAS EN modelos de datos conceptuales informes y escribe consultas de estándares establecidos, y a
TI O TECNOLOGÍA involucrados en este dominio bases de datos relacionales y menudo establece normas y
son modelador de datos, desarrollador de BI y multidimensionales políticas de calidad
gerente de calidad de datos
El banco de trabajo analítico

El negocio desempeña el papel principal con el IT
dando soporte y habilitando la infraestructura.
Estas capacidades de análisis deben seleccionarse
cuando el objetivo es apoyar la autonomía, agilidad
y flexibilidad del usuario, sin necesidad de
conocimientos analíticos avanzados.
Este dominio debe evitarse cuando los casos de uso
no toleran dudas en torno al nivel de confianza de la
información creada por los usuarios.
Las CAPACIDADES ANALÍTICAS aquí son el Visual VISUAL DATA DISCOVERY LOCATION ANALYTICS
Data Discovery, el Location Analytics, la preparación
Estas potentes herramientas combinan datos de múltiples Estas técnicas analíticas descubren relaciones
de datos, el Citizen Data Science, el descubrimiento
fuentes en un almacén en memoria que está estrechamente espaciales/ubicaciones inéditas, lo que resulta en una mayor
basado en NoSQL, el Stream Analytics, el Graph acoplado con una capa de visualización interactiva. Permiten eficiencia operativa y toma de decisiones.
Analytics y la analítica embebida. crear prototipos ágiles y rápidos de visualizaciones de datos
interactivas. La inteligencia geoespacial incluye aplicaciones, infraestructura,
Los roles orientados al negocio involucrados en este herramientas y prácticas recomendadas que permiten el acceso y
dominio son los Analistas y los Citizen Data Contrasta con la plataforma de BI tradicional, que se basa en la utilización de datos geoespaciales y de ubicación de personas,
Scientists una arquitectura más modular y depende de tres tecnologías cosas e información para el análisis referenciado por ubicación.
distintas para integrar, almacenar y presentar datos.
Los roles orientados a los especialistas en TI o
Dado que es una combinación de análisis en memoria y
tecnología involucrados en este dominio son los tecnologías de visualización interactiva, Visual Data Discovery
expertos en soporte de análisis e ingenieros de proporciona análisis de autoservicio con una capacidad de
datos. análisis de diagnóstico más profunda.


Las CAPACIDADES ANALÍTICAS aquí son el Visual PREPARACIÓN DE DATOS CITIZEN DATA SCIENCE
Este es un proceso iterativo y ágil para explorar, combinar, Este tipo de capacidades analíticas permiten a los usuarios
limpiar y transformar datos sin procesar en conjuntos de datos empresariales extraer información analítica avanzada de los datos
basado en NoSQL, el Stream Analytics, el Graph seleccionados para la integración de datos de autoservicio y la sin necesidad de una amplia experiencia en ciencia de datos
Analytics y la analítica embebida. ciencia de datos.
La capacidad fundamental para habilitar la ciencia de datos de los
Los roles orientados al negocio involucrados en este Las herramientas de preparación de datos aceleran el tiempo ciudadanos está progresando rápidamente con capacidades de
dominio son los Analistas y los Citizen Data de recopilación de información al permitir a los usuarios análisis aumentadas que optimizan la preparación de datos,
Scientists reducir la complejidad de la preparación de datos, encontrar proporcionan orientación al usuario para las operaciones de
patrones en sus conjuntos de datos integrados y compartir sus ciencia de datos (correlaciones, clustering, predicciones),
Los roles orientados a los especialistas en TI o hallazgos para su análisis posterior, todo ello sin un amplio aumentan la información de los usuarios a través del modelado
tecnología involucrados en este dominio son los soporte de TI ni conocimientos de codificación. automatizado y la detección de patrones, y permiten la
expertos en soporte de análisis e ingenieros de Es muy potente al simplificar el acceso y la colaboración en colaboración y el uso compartido
datos. componentes reutilizables.


Las CAPACIDADES ANALÍTICAS aquí son el Visual DESCUBRIMIENTO BASADO EN NoSQL STREAM ANALYTICS
Ayuda a consultar y analizar datos con orígenes de datos Estas herramientas están diseñadas para detectar situaciones de
Apache Hadoop y NoSQL. Los productos de detección no amenaza u oportunidades para sistemas de apoyo a la toma de
basado en NoSQL, el Stream Analytics, el Graph relacionales permiten a los usuarios consultar y analizar datos decisiones y automatización de decisiones.
Analytics y la analítica embebida. en Data Lakes creados con almacenes de objetos, sistemas de
Se implementan para la visualización de datos de series
Los roles orientados al negocio involucrados en este archivos distribuidos y almacenes de datos NoSQL.
temporales y permiten a los usuarios crear y personalizar
dominio son los Analistas y los Citizen Data Estos productos han comenzado su andadura desde el sector fácilmente paneles que se conectan a orígenes de datos de
Scientists de descubrimiento de Big Data y, desde entonces, se han streaming (procesos de entrada de datos en caliente).
ampliado para incluir compatibilidad con orígenes de datos
Los roles orientados a los especialistas en TI o relacionales.
tecnología involucrados en este dominio son los Las principales funcionalidades incluidas son el modelado
expertos en soporte de análisis e ingenieros de semántico, la mejora del rendimiento y el procesamiento
datos. distribuido


Las CAPACIDADES ANALÍTICAS aquí son el Visual GRAPH ANALYTICS – ANALÍTICA DE GRAFOS ANALÍTICA EMBEBIDA
de datos, el Citizen Data Science, el descubrimiento Es una poderosa herramienta analítica para explorar las Esta capacidad analítica ofrece informes en tiempo real,
relaciones indirectas entre entidades a través de datos visualización interactiva de datos y/o análisis avanzados, incluido
basado en NoSQL, el Stream Analytics, el Graph multiestructurado. el aprendizaje automático, directamente en una aplicación
Analytics y la analítica embebida. empresarial.
Es perfecto para mejorar el análisis de patrones a través de
Los roles orientados al negocio involucrados en este redes complejas. Los datos son administrados por la plataforma de análisis, y los
dominio son los Analistas y los Citizen Data informes se colocan directamente dentro de la interfaz de usuario
Scientists de la aplicación para mejorar el contexto y la facilidad de uso de
los datos para los usuarios empresariales
tecnología involucrados en este dominio son los
expertos en soporte de análisis e ingenieros de
datos.


dando soporte y habilitando la infraestructura. ANALISTA CITIZEN DATA SCIENTIST

Ofrece valor al negocio tomando Son usuarios avanzados que
cuando el objetivo es apoyar la autonomía, agilidad información sobre temas pueden realizar tareas analíticas
y flexibilidad del usuario, sin necesidad de específicos que interpreta y simples y moderadamente
conocimientos analíticos avanzados. analiza para presentar los sofisticadas que anteriormente
hallazgos en informes habrían requerido más
completos. experiencia.
Puede ser más orientado al Normalmente, un científico de
negocio o a los datos datos ciudadano no es miembro
Las capacidades analíticas aquí son el Visual Data de un equipo de análisis
Discovery, el Location Analytics, la preparación de EXPERTO EN SOPORTE
datos, el Citizen Data Science, el descubrimiento INGENIERO DE DATOS
ANALÍTICO
basado en NoSQL, el Stream Analytics, el Graph
El ingeniero de datos es alguien Este es un rol de TI totalmente
Analytics y la analítica embebida. que desarrolla, construye, orientado a proporcionar un
Los ROLES ORIENTADOS AL NEGOCIO prueba y mantiene soporte técnico consistente a los
involucrados en este dominio son los Analistas y los arquitecturas, como bases de roles avanzados de análisis de
datos y sistemas de negocios como Analistas y
Citizen Data Scientists
procesamiento a gran escala. El Científicos de Datos Ciudadanos
Los ROLES ORIENTADOS A LOS ESPECIALISTAS científico de datos, por otro
EN TI O TECNOLOGÍA involucrados en este dominio lado, es alguien que limpia,
son los expertos en soporte de análisis e ingenieros masajea y organiza los datos.
de datos.

El laboratorio de ciencia de datos

Este dominio requiere usuarios muy especializados
como científicos de datos con una fuerte intuición para
los datos, el análisis y el dominio empresarial, con TI
actuando como un rol de soporte.
Las capacidades de análisis de este dominio deben
seleccionarse cuando haya requisitos claros que
justifiquen su complejidad potencial y cuando estén
disponibles los recursos con las habilidades avanzadas
adecuadas.
Al llegar a este dominio, las organizaciones
demuestran un alto nivel de madurez en Analítica de APRENDIZAJE AUTOMÁTICO - MACHINE APRENDIZAJE PROFUNDO - DEEP LEARNING
datos y Big Data. LEARNING El aprendizaje profundo es un subcampo del aprendizaje
El aprendizaje automático es el arte del estudio de algoritmos automático. El aprendizaje profundo no significa que la máquina
Las CAPACIDADES ANALÍTICAS aquí son Aprendizaje aprenda más conocimientos profundos; significa que la máquina
que aprenden de ejemplos y experiencias.
automático (Machine Learning), Aprendizaje profundo utiliza diferentes capas para aprender de los datos.
(Deep Learning), Análisis predictivo, Análisis El aprendizaje automático se basa en la idea de que existen
algunos patrones en los datos que se pueden identificar y usar La profundidad del modelo se representa mediante el número de
prescriptivo y Simulación y optimización capas del modelo. Por ejemplo, el modelo de Google LeNet para
para predicciones futuras.
Los roles orientados al negocio involucrados en este el reconocimiento de imágenes cuenta con 22 capas.
La diferencia con las reglas de decodificación dura es que la
dominio son Estadista, Data Scientist y Gestor de máquina aprende por sí sola para encontrar tales reglas. En el aprendizaje profundo, la fase de aprendizaje se realiza a
proyectos de Analítica de Datos. través de una red neuronal. Una red neuronal es una arquitectura
donde las capas se apilan una encima de la otra.
tecnología involucrados en este dominio son los
integradores de sistemas de Analítica de datos.
El laboratorio de ciencia de datos

Este dominio requiere usuarios muy especializados JEFE DE PROYECTO DE
como científicos de datos con una fuerte intuición para DATA SCIENTIST ESTADISTA
ANALÍTICA DE DATOS
los datos, el análisis y el dominio empresarial, con TI
DT ayuda a las empresas a Este papel desarrolla e inicia Las técnicas estándar de gestión
actuando como un rol de soporte. interpretar y gestionar datos y técnicas y protocolos de proyectos no funcionan bien
Las capacidades de análisis de este dominio deben resolver problemas complejos estadísticos innovadores. Al para los proyectos de análisis y,
seleccionarse cuando haya requisitos claros que utilizando la experiencia en una mismo tiempo, desarrolla por lo tanto, tampoco los
variedad de nichos de datos. Por técnicas y procesos de muestreo gestores de proyectos estándar.
justifiquen su complejidad potencial y cuando estén
lo general, tienen una base en fáciles de analizar. Esta es la razón por la que el rol
disponibles los recursos con las habilidades avanzadas ciencias de la computación,
Bajo la coordinación del Data de jefe de proyecto en el
adecuadas. modelado, estadísticas, análisis
Scientist, ejecuta operaciones análisis es fundamental para el
y matemáticas, junto con un
Al llegar a este dominio, las organizaciones estadísticas con total equidad éxito de la adopción de la
fuerte sentido empresarial.
para obtener resultados de error Analítica de datos en las
demuestran un alto nivel de madurez en Analítica de
datos y Big Data. INTEGRADOR DE SISTEMAS DE cero. organizaciones.
ANALÍTICA DE DATOS
Este es un papel bastante difícil
Las capacidades analíticas aquí son Aprendizaje de encontrar porque los
automático (Machine Learning), Aprendizaje profundo Para los integradores de
administradores de TI que
(Deep Learning), Análisis predictivo, Análisis sistemas tradicionales, la
realizan la transición al análisis
mejora continua es la segunda
prescriptivo y Simulación y optimización a menudo tienen problemas
derivada. La prestación de
con este aspecto.
Los ROLES ORIENTADOS AL NEGOCIO involucrados servicios es su negocio principal
en este dominio son Estadista, Data Scientist y Gestor y la mejora continua es la forma
en que generan beneficios.
de proyectos de Analítica de Datos.
El trabajo con Big Data y
Los ROLES ORIENTADOS A LOS ESPECIALISTAS EN Analytics, cerca de IoT, necesita
TI O TECNOLOGÍA involucrados en este dominio son un rol orientado y especializado
los integradores de sistemas de Analítica de datos. en esa área crítica.
El HUB de Inteligencia Artificial

El Hub ofrece tecnología que parece emular el
rendimiento humano, típicamente a partir del
aprendizaje para llegar a sus propias conclusiones,
entender contenidos complejos, entablar diálogos
naturales con las personas, mejorar el rendimiento
cognitivo humano o para reemplazar a las personas
en tareas repetitivas.
Aquí la TI desempeñará un papel clave en la
integración de la Analítica de datos con las
aplicaciones empresariales y la automatización de
procesos
Hay una gran cantidad de capacidades analíticas
emergentes en este dominio. Podemos ver grandes
avances en Asistentes Digitales Personales, nuevos
servicios digitales en torno a la computación
cognitiva o aplicaciones empresariales utilizando
gráficos de conocimiento.
Los roles involucrados aquí se están creando
constantemente para cubrir todas las nuevas
características descubiertas. Uno nuevo es el
Arquitecto Empresarial Analista, absolutamente
clave para construir un proceso analítico de extremo
a extremo sin problemas.
Fuente: https://www.forbes.com/sites/cognitiveworld/2018/08/22/ai-knowledge-map-how-to-classify-ai-technologies/#6fbbffa17773
Proximamente
DATA ANALYTICS Y BIG DATA – DENTRO DE LA ORGANIZACIÓN

Data Analytics y Big Data PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Data Analytics y Big Data PDF

Cargado por

Copyright:

Formatos disponibles

DATA ANALYTICS Y BIG DATA

UNA EXPLICACIÓN SUFICIENTEMENTE COMPLEJA Y ENTENDIBLE PARA ROLES NO TÉCNICOS

Lo básico es Sobre dominios analíticos

Roles en Data Analytics

Volumen de datos producidos por IoT a día de hoy

Lo que está pasando en la red en un solo minuto

Esta actividad significa:

Los usuarios de Internet generan sobre 2,5

90% de todos esos datos han sido creados

En 2020, habrán acerca de 40 trillones de

En 2020, cada persona generará 1,7

Lo que pasaba en la red en un solo minuto en 2012

La cuestión es que en 2012 solo el 0,5% de

El 97,2% de las organizaciones están

Usando Big Data, Netflix ahorra 1 billón de

Los trabajos relacionados con Data Science y

Los negocios ganarán 430 billones de

Pero muy probablemente tu esto ya lo sabías

Pero quizás lo que no sabes es que no es un tema de volumen. Es más

Y cada 18 meses se duplica la RAM de

Por que vivimos en la ”Era de los datos”

Entre 1999 y 2009 tratamos la información como CONTROL

Fuente: Información pública de Gartner y referencias de Internet

¿Qué son los DATOS?

DATOS estructurados DATOS semi-estructurados DATOS no estructurados

DATOS estructurados DATOS semi-estructurados DATOS no estructurados

Hay un tsunami de datos principalmente no 2017

Creciendo un 42,5% cada DATOS

Creciendo un 22,4% cada año

Base de datos relacional - SQL NoSQL

Base de datos relacional - SQL NoSQL

¿Cómo debo gestionar los datos para obtener valor?

El CICLO DE VIDA DEL DATO o cómo crear conocimiento y valor a partir de

Analítica exploratoria Recomendación de

GOBERNANZA | Seguridad, mantenimiento, calidad, operaciones, trazabilidad…

El CICLO DE VIDA DEL DATO y la analítica de datos

¿Qué puedo conseguir de los datos ? ¿Qué tipo de

Tipos de analítica de datos

Esta es la contribución analítica Éste es el aporte humano

Descriptivo ¿Qué ha pasado?

Exploratorio ¿Qué está pasando?

Diagnóstico ¿Por qué ha pasado?

Prescriptivo ¿Cómo puedo aprovecharlo? SOPORTE A LA DECISIÓN

Experimental ¿Cómo debo hacerlo? ¿Funcionará bien? AUTOMATIZACIÓN DE LA DECISIÓN

1. Descriptivo 2. Diagnóstico (Exploratorio) 3. Diagnóstico (Explicativo)

Fuente: Información pública de Gartner y referencias de Internet

¿Cuáles son las maneras de interactuar con los datos?

Navegar a través de los Dominios Analíticos

El portal de El banco de trabajo El laboratorio de El HUB de Inteligencia

Fuente: Información pública de Gartner y referencias de Internet

El banco de trabajo analítico

Fuente: Información pública de Gartner y referencias de Internet

El banco de trabajo analítico

Fuente: Información pública de Gartner y referencias de Internet

El banco de trabajo analítico

Fuente: Información pública de Gartner y referencias de Internet

El banco de trabajo analítico

Fuente: Información pública de Gartner y referencias de Internet

El banco de trabajo analítico

Estas capacidades de análisis deben seleccionarse

Fuente: Información pública de Gartner y referencias de Internet

El laboratorio de ciencia de datos

El laboratorio de ciencia de datos