Documentos de Académico
Documentos de Profesional
Documentos de Cultura
DO Hadoop Benchmark v8 PDF
DO Hadoop Benchmark v8 PDF
Map/Reduce
Benchmark en el SVGD
Diego Nieto
Anlisis y benchmark de Hadoop
Introduccin:
Almacenamiento: HDFS
Procesamiento: MapReduce
Bajo coste
Facilidad de uso
Tolerancia a fallos
Arquitectura
HDFS
Tolerancia a fallos
Inconvenientes
Elevada latencia
MapReduce
En Google:
o Construccin de ndices para el buscador (pagerank)
o Clustering de artculos en Google News
o Bsqueda de rutas en Google Maps
o Traduccin estadstica
En Facebook:
o Minera de datos
o Optimizacin de ads
o Deteccin de spam
o Gestin de logs
En I+D+i:
o Anlisis astronmico
o bioinformtica
o fsica de partculas
o simulacin climtica
o procesamiento del lenguaje natural
A9.com
AOL
Booz Allen Hamilton
EHarmony
eBay
Facebook
Fox Interactive Media
Freebase
IBM
ImageShack
ISI
Joost
Last.fm
LinkedIn
Meebo
Metaweb
Mitula15
The New York Times
Ning
Powerset (ahora parte de Microsoft)
Rackspace
StumbleUpon16
Tuenti
Twitter
Veoh
Zoosk
1&1
Para ello sera necesario crear un sistema OLAP, optimizado para consultas y
no para transacciones. El problema de crear este sistema es que habra que
Internamente, Hadoop almacena y distribuye entre los distintos nodos los datos
(particionado) y hive se encarga de dividir la consulta en varias partes que son
asignadas a trabajos MapReduce, cuyos procesos map y reduce son
paralelizables entre los distintos nodos del cluster. De esta manera estamos
aprovechando recursos de computacin existentes para realizar tareas que en
un principio no podran ser asignadas a este tipo de recursos.
FROM maquinas
JOIN aplicejec ON (maquinas.idmaquina = aplicejec.idmaquina)
JOIN aplicaciones ON (aplicaciones.idaplic = aplicejec.idaplic)
JOIN ejecutables ON (ejecutables.idejec = aplicejec.idejec)
JOIN consumo ON (consumo.idaplicejec = aplicejec.idaplicejec)
JOIN instituciones ON (instituciones.idinstit = consumo.idinstit)
#nodos/cores query1
Conclusiones
1
http://www.michael-noll.com/blog/2011/04/09/benchmarking-and-stress-testing-an-
Hadoop-cluster-with-terasort-testdfsio-nnbench-mrbench/
Anlisis y benchmark de Hadoop 10 de 11
Anlisis y benchmark de Hadoop