Procesamiento

streaming y en
tiempo real
Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es
Procesamiento ▪ Flujos de datos
streaming ▪ No hay limitación en tiempo de
procesamiento
Características
▪ No hay limitación en tiempo
generación output
▪ Suficiente memoria
▪ Tasa de procesamiento > Tasa de
entrada
 Motor
Procesamiento de
streaming Búsqueda
Aplicación Web
Ejemplo

Aplicación
Inges;ón Aplicación
Aprendizaje
de datos Procesamiento
Automá;co
 Motor
Procesamiento de
streaming HTTP Cliente de Búsqueda
Ejemplo TwiGer

Aplicación
Inges;ón Aplicación
Aprendizaje
de datos Procesamiento
Automá;co
 Motor
Procesamiento de
streaming HTTP Cliente de Búsqueda
Ejemplo TwiGer

Aplicación
Inges;ón Aplicación
Aprendizaje
de datos Procesamiento
Automá;co
 Motor
Procesamiento de
streaming HTTP Cliente de Búsqueda
Ejemplo TwiGer

Aplicación
Inges;ón Aplicación
Aprendizaje
de datos Procesamiento
Automá;co

2 segundos
 Motor
Procesamiento de
streaming HTTP Cliente de Búsqueda
Ejemplo TwiGer

Aplicación
Inges;ón Aplicación
Aprendizaje
de datos Procesamiento
Automá;co

2 segundos
Procesamiento ▪ Flujos de datos
en tiempo real
Características ▪ Suficiente memoria
▪ Tasa de procesamiento > Tasa de
entrada
Procesamiento ▪ Hay limitación en tiempo de
en tiempo real procesamiento o de obtención
output
Características
diferente ▪ No se pueden perder datos
streaming
Procesamiento ▪ ¿Cuanto tiempo necesita un
Batch/ streaming nodos para leer 1 TB?
cluster MapReduce con 20

Mo;vación
▪ Lectura disco duro 100-200 MB/s
▪ 1 TB = 106 MB
▪ MB de disco por nodo = 106 / 20
106
Tiempo = = 250 s
20 ⋅ 200
Procesamiento ▪ ¿Cuanto tiempo necesita un
en tiempo real esquema MapReduce con 20
nodos para leer 1 TB en
Mo;vación memoria RAM?
▪ Lectura memoria 10 GB/s= 104 MB/s
▪ 1 TB = 106 MB
▪ MB de disco por nodo = 106 / 20
106
Tiempo = = 5 s
20 ⋅ 104
Procesamiento ▪ MapReduce
en tiempo real ▪ Consultas en tiempo real
Computación
en memoria
Precio memoria RAM 1TB= 20000 $
Procesamiento
streaming y en
tiempo real
• Características
• Rendimiento
Sistemas de Big Data
Ricardo García Ródenas
Ricardo.Garcia@uclm.es