BIG DATA - INTRODUCCIÓN

jorge ubero. bilbao, junio de 2013

 ITINERARIO

gobierno de datos
cuándo y cómo?
análisis
obama’12
software/arq.
utilidades
definición
contexto

© 2013 Jorge Ubero

SITUACIÓN

© 2013 Jorge Ubero

 Antecedentes

• “Every day we produce as much content as was produced

by all of mankind for the 20,000 years before 2003″ [Eric
Schmidt, former CEO, Google]

2,5 EXABYTES
CADA DÍA

© 2013 Jorge Ubero

 Antecedentes

Toda la música 5K Millones 1 mes: 30K M

por 600$ compartidos

40% datos 235 Tb abril ‘11 40meses x2

© 2013 Jorge Ubero
 Antecedentes

2,5 PetaBytes/hora Sólo en los 2

transacciones últimos años

© 2013 Jorge Ubero

 Antecedentes

DATOS =
INFRAESTRUCTURA

DATOS =
FACTOR DE PRODUCCIÓN
© 2013 Jorge Ubero
 Antecedentes

NUEVA
FORMA
 de
TOMAR
DECISIONES
© 2013 Jorge Ubero
 Antecedentes

 VALOR

© 2013 Jorge Ubero

Conceptos generales

(wikipedia)

© 2013 Jorge Ubero

Conceptos generales

(sinnexus.es 2009)
(Carlos Ayala, J., 1999)

© 2013 Jorge Ubero

 Conceptos generales

CONTENIDO
NO ESTRUCTURADO

Obra del artista Ryan McGuinness, fiel reflejo de una gran diversidad
© 2013 Jorge Ubero
 Conceptos generales

ESCALABILIDAD

© 2013 Jorge Ubero

Conceptos generales

© 2013 Jorge Ubero

¿QUÉ ES BIG DATA?

?
© 2013 Jorge Ubero
¿QUÉ ES BIG DATA?

© 2013 Jorge Ubero

Qué es big data?

© 2013 Jorge Ubero

 Definiciones

“Big data son datos que

superan la capacidad de
procesamiento de los
sistemas de bases de datos
convencionales”

© 2013 Jorge Ubero

 Características

VARIEDAD
VELOCIDAD
VOLUMEN

© 2013 Jorge Ubero

UTILIDADES

© 2013 Jorge Ubero

 Utilidades de big data

• Transparencia
• Experimentación

• Segmentación
• Toma de decisiones
• Innovación

© 2013 Jorge Ubero

 Fases de un proyecto

RECOPILACIÓN

ANÁLISIS

EXPLOTACIÓN

© 2013 Jorge Ubero

 Ejemplos

PeerIndex

Vivir en un mar de datos. Fundación Telefónica, 2012

© 2013 Jorge Ubero
 Ejemplos

Trovit

Vivir en un mar de datos. Fundación Telefónica, 2012

© 2013 Jorge Ubero
 Ejemplos

BBVA

Vivir en un mar de datos. Fundación Telefónica, 2012

© 2013 Jorge Ubero
 Ejemplos

UTOPÍA - csic

Vivir en un mar de datos. Fundación Telefónica, 2012

© 2013 Jorge Ubero
 Ejemplos

1004 - Telefónica

Vivir en un mar de datos. Fundación Telefónica, 2012

© 2013 Jorge Ubero
Más aplicaciones

© 2013 Jorge Ubero

 Más aplicaciones

smart cities
© 2013 Jorge Ubero
 VARIEDAD DATOS
=
VARIEDAD DE UTILIDADES

© 2013 Jorge Ubero

 Grandes expectativas

600k M. $ +60%
¼ Bill. €
1,5 M. PM 300k M. $
20154,4 M PUESTOS
© 2013 Jorge Ubero
Grandes expectativas

Curva de adopción tecnológica, GARTNER

© 2013 Jorge Ubero

ARQUITECTURA Y SOFTWARE

© 2013 Jorge Ubero

 ARQUITECTURA - Diferencias
Vs.
Arq. tradicional
• Centralidad  mainframe, cpd
• BBDD relacionales
• Datos estructurados
• Alm. Convencional:
-Silos de información
-Datawarehouse
Arq. Big data
• Alta escalabilidad (Scale-Out)
• Procesamiento paralelo
• Mismo espacio almacen. y
procesadoBaja latencia
• Datos no estructurados y est.
• NoSQL
• By-pass de datos (no silos)
© 2013 Jorge Ubero
Características

© 2013 Jorge Ubero

 Características

Procesamiento paralelo - DFS

© 2013 Jorge Ubero

Características

© 2013 Jorge Ubero

 MapReduce

Map Reduce

EJEMPLO: METAMAIL
© 2013 Jorge Ubero
 Elementos a tener en cuenta

• Red. por almacenamiento

• Red. por movimiento
• Time2mkt más rápido
• Herramientas estándar
• Facilidad en la gestión y las
operaciones
• Data governance

© 2013 Jorge Ubero

 Infraestructura on premises

• Mayor control

siliconweek.es

© 2013 Jorge Ubero

 Infraestructura en cloud

• Scale-Out

© 2013 Jorge Ubero

ARQUITECTURA
INTEGRADA

© 2013 Jorge Ubero

 Hadoop

 Doug Cutting
© 2013 Jorge Ubero
Aplicaciones adicionales Hadoop

© 2013 Jorge Ubero

Programas

© 2013 Jorge Ubero

Programas

© 2013 Jorge Ubero

Programas

© 2013 Jorge Ubero

Aplicaciones de visualización

© 2013 Jorge Ubero

ecosistema big data

VISUALIZACIÓN ANÁLISIS

© 2013 Jorge Ubero

ecosistema big data

almacenamiento
conectores

© 2013 Jorge Ubero

ecosistema big data

© 2013 Jorge Ubero

ecosistema big data

almacenamiento
procesamiento
conectores

© 2013 Jorge Ubero

ecosistema big data

© 2013 Jorge Ubero

ecosistema big data

programas
analíticos

almacenamiento
procesamiento
conectores

© 2013 Jorge Ubero

ecosistema big data

© 2013 Jorge Ubero

ecosistema big data

representación programas
analíticos

almacenamiento
procesamiento
conectores

© 2013 Jorge Ubero

ecosistema big data

© 2013 Jorge Ubero

 ITINERARIO

gobierno de datos
cuándo y cómo?
análisis
obama’12
software/arq.
utilidades
definición
contexto

© 2013 Jorge Ubero

CASO APLICACIÓN

© 2013 Jorge Ubero

Obama 2012

© 2013 Jorge Ubero

Obama 2012

© 2013 Jorge Ubero

Análisis Big Data

© 2013 Jorge Ubero

Análisis Big Data

© 2013 Jorge Ubero

Cuándo y cómo implantarlo?

© 2013 Jorge Ubero

 Elementos a tener en cuenta

• Realidad operativa?
• Mejores prácticas?
• Cambio en valoración IT?
• Qué hace la competencia?
• Errores a evitar?

© 2013 Jorge Ubero

 Elementos a tener en cuenta

• Alineamiento con objs.

• Facilitar adopción habilidades
• Gobierno de datos
• Alinear datos estr. y no estr.
• CoE

© 2013 Jorge Ubero

 Cuándo y cómo implantarlo?

program director
data scientist

business analyst
© 2013 Jorge Ubero
Gobierno de datos

© 2013 Jorge Ubero

 CONCLUSIONES

Big Data’s everywhere

Datos  VALOR
Gestionar expectativas
Integración ética
© 2013 Jorge Ubero
 MÁS INFO

Planning for Big Data. Edd Dumbill

Hadoop: The Definitive Guide. Tom White

www.datainformed.com
www.macrodatos.com
www.bigdata4success.com

© 2013 Jorge Ubero

eskerrik asko!

jorge ubero
bilbao, junio de 2013