CLOUD & BIG DATA

Trabajando el CLOUD, explotando BIG DATA. Cmo pueden ayudarnos estas tecnologas?. Convivimos con ellas?.

ndice. (I)
Introduccin. Qu es CLOUD. Tipos de CLOUD.
Pblica. Privada. Comunitaria. Hbrida.

Proveedores de CLOUD pblica. Qu es BIG DATA?.

Convivimos con BIG DATA.

ndice. (II)
Como llegar a BIG DATA.

Bases de datos SQL.

Productos SQL.

Bases de datos NoSQL.

Productos NoSQL.

Bases de datos SQL Vs NoSQL.

A.C.I.D. Vs B.A.S.E. Podemos usar siempre NoSQL.

Entornos mixtos SQL & NoSQL. cmo usarBIG DATA en CLOUD?. P & R.

Introduccin.
Tecnologas independientes pero relacionadas. Orgenes.
Cloud.
No es fcil definir el origen del Cloud Computing, pero si tiene claros predecesores: SOA, VM, etc.

Big Data.
El origen de Big Data, como lo conocemos hoy da, puede ubicarse en las VLDB que fueron creciendo (escalando) de manera horizontal. Pero su origen es tan antiguo como las BBDD tradicionales como puedan ser las RDBMS, JDB, etc. No se ofrecan como una alternativa a estas ni de manera popular.

Qu es CLOUD?.
Es complicado encontrar una definicin universal. Existen puntos comunes que hacen aceptables diferentes aproximaciones a definir CLOUD. Convivimos con CLOUD a diario.

Qu necesita? CLOUD.
Segn los estndares, CLOUD consta de:

Segn las necesidades particulares, se pueden implementar las soluciones adecuadas a cada caso. Existen Service Models muy particularizados: DBaaS, MaaS y DaaS, derivados de los tres generales.

Qu necesita? CLOUD.
Nueve requisitos de almacenamiento en CLOUD.
Escalabilidad y elasticidad MASIVA. Almacenamiento de objetos. Asignacin bajo demanda. Agnstico en cuanto a aplicaciones. Seguridad multi-propietario. Cobro por uso. Acceso primario (a datos) REST o SOAP. Localizacin geogrfica no importante. Accesible va internet.

Modelos de servicio (I)

SaaS.
Software as a Service.

PaaS.
Platform as a Service.

IaaS.
Infrastructure as a Service.

Evoluciones.
DBaaS. DataBase as a Service. MaaS. Mobility as a Service. DaaS. Desktop as a Service.

Modelos de servicio. (II)

Tipos de CLOUD (I).

CLOUD pblica. CLOUD privada. CLOUD comunitaria. CLOUD hibrida.

Qu es BIG DATA?.
Cuando los sistemas de BBDD tradicionales no son suficientes para gestionar enormes volmenes de datos. Cuando los sistemas disponibles son heterogneos pero queremos aprovecharlos. Cuando la cantidad de sistemas es amplia y la cantidad de fallos a ocurrir es elevada. Cuando el software a utilizar es capaz de asegurar la disponibilidad mnima requerida.

ESTAMOS ANTE UN ESCENARIO PARA BIG DATA.

Convivimos con BIG DATA

Aunque no seamos conscientes de este hecho, en nuestro da a da USAMOS BIG DATA. Ejemplos de BIG DATA:

Como llegar a BIG DATA?

Existen 5 puntos a tener en cuenta para poder llegar a implantar o aprovechar BIG DATA: 1. Definir las necesidades y comprender los requisitos y limitaciones de BIG DATA. 2. Descubrir los datos que necesitamos y donde se encuentran. 3. Obtener los recursos necesarios para implementar BIG DATA. 4. Dar con la tecnologa ms adecuada para nuestra casustica. 5. Asegurar que contamos con el equipo y las habilidades necesarias.

Como llegar a BIG DATA?

Una vez en BIG DATA encontraremos un desafo principal: E S C A L A B I L I D A D. Existen 2 posibilidades: Vertical u Horizontal, cada una de ellas con sus pros y sus contras. VERTICAL. + Rpido y sencillo. Hasta un lmite. Caro. Suele casarnos con un proveedor. Aade complejidad. HORIZONTAL. + Rpido y sencillo *. + Lmite ms lejano. + Flexible.

Bases de datos SQL.

RDBMS: Bases de datos RELACIONALES. Son los sistemas de BBDD ms extendidos en la actualidad. Transacciones que deben cumplir ACID. A.C.I.D.
Atomicity. Concurrency. Isolation. Durability.

Son dinmicas y escalables hasta unos lmites.

Productos SQL.

Bases de datos NoSQL.

BBDD NO relacionales y distribuidas. Muchos nodos componen la misma BBDD. Cumplen 2 de 3 requisitos C.A.P.
Consistency: Todos los clientes ven los mismos datos. Availability: Todos los clientes SIEMPRE acceden a los
datos.

Partition tolerance: Habilidad para continuar

trabajando ante un fallo.

No dependen del TODO o NADA de RDBMS.

Elegiremos entre varios niveles de C.A.P. Estrictos con A + P minimizamos el riesgo de fallos en C.

Bases de datos NoSQL.

B.A.S.E.
Basically Available Soft State Eventually Consistent.

Las NoSQL escalan gracias a B.A.S.E. Clases de NoSQL:

Key / Value. Ej: Riak, Voldemort, Redis. Column (BigTable). Ej: Cassandra, Hbase,Hypertable. Document. Ej: MongoDB, CouchDB. Graph. Ej: Neo4j, Pregel, AllegroGraph.

Productos NoSQL.

SQL Vs NoSQL. (I)

Estructuras de datos: SQL:
Tablas, columnas y filas. Todas las filas tienen la misma estructura.

NoSQL:
Eliges tu estructura de datos. Estructura natural para los datos.

Esquemas: SQL:
Esquemas monolticos Mantiene relaciones y fuerza la integridad de los datos.

NoSQL:
Estructuras de datos pueden cambiar dinmicamente. Estructura de datos puede ser opaca.

SQL Vs NoSQL. (II)

Normalizaciones y relaciones:
SQL:
El modelo de datos se normaliza para eliminar duplicidades. La normalizacin establece las relaciones entre tablas.
NoSQL:
La denormalizacin no es mala. Las relaciones no son definidas explcitamente. Datos relacionados se suelen encontrar agrupados y almacenados como una unidad.

Acceso a los datos:

SQL:
Operaciones C.R.U.D. Obtener datos de varias tablas necesitan JOINS. APIS genricas.

NoSQL:
APIS propietarias. Usan algoritmos MapReduce y Graph traversals.

SQL Vs NoSQL. (III)

Capacidades para reporting:
SQL:
Divisin slice & dice y reunificacin ad-hoc. Cubos y datamining. Drill down, Roll up, Pivot.

NoSQL:
Dificultad en reformatear ad-hoc. Todo reporte debe estar pensado por adelantado.

Resumen:
Elegir la BBDD adecuada a cada caso. SQL no debera ser preeminente. NoSQL es superior para determinados casos. Podemos hacer que trabajen juntas.

Entornos mixtos PolyGlot.

PROS:
RDBMS con tablas grandes y creciendo. Alcanzamos limites en la RDBMS incluso usando tcnicas para VLDB. NoSQL usada para almacenar datos viejos. Uso de vistas materializadas con esos datos en la NoSQL actualizando durante la noche. Migrar ciertas partes de las aplicaciones para acomodarse a la distribucin de datos de la NoSQL.

Entornos mixtos PolyGlot.

CONS:
Las VM en la NoSQL consumen mucho almacenamiento. Determinadas funcionalidades (Querys) no pueden ser sustituidas por VM en NoSQL. Indexar documentos para busquedas por texto es muy costoso en tiempo en NoSQL. El desarrollo para NoSQL requiere ms tiempo y los modelos MapReduce ms planificacin. Los cambios de las VM en NoSQL no es algo sencillo.

BIG DATA en CLOUD.

Los factores principales, pero no nicos:
La cantidad de almacenamiento de BIG DATA. La disponibilidad inherente a CLOUD. El origen de los datos a integrar en NoSQL.

Aumentaremos la disponibilidad. Adquirimos la posibilidad de agregar nuevas funcionalidades. Nos permite analizar esas cantidades de datos en un tiempo razonable. Nos permite usar varias NoSQL diferentes.

Preguntas & Respuestas.