Una Nueva Forma De Sybase Presentation Template Resolver Problemas Antiguos
Valsoir Tronchin. 27/10/2005
Director De Tecnologa, LAO valsoir.tronchin@sybase.com
Sybase Confidential Propriety.
Sybase Confidential
Preguntas Iniciales
Cul es el objetivo del presidente de su empresa?
Aumentar y preservar el valor de la empresa para los accionistas
Cmo se hace eso?
Diminuyendo costos
Eficiencia
Aumentando ingresos
Vendiendo ms a nuevos clientes Vendiendo ms a clientes existentes
Cul es el papel de TI en ese contexto?
Apoyar con tecnologa los puntos anteriores
No permitir que la tecnologa sea un impedimento para que la empresa alcance sus objetivos
2
Preguntas Iniciales
Qu espera recibir el cliente de su empresa?
Productos y servicios de acuerdo a sus necesidades Interacciones consistentes independientemente del punto de contacto Algo que le agregue valor...
Cmo se hace eso?
Analizando los datos y el comportamiento de los clientes para entender mejor sus necesidades
Poniendo datos actualizados en las manos de quin interacta con el cliente en el momento de la verdad
Cul es el papel de TI en ese contexto?
No ser una barrera, sino un facilitador
3
Valor Agregado
El valor tiene que ser percibido El valor tiene que ser reconocido como tal por el cliente Y, lo ms importante, el cliente tiene que estar dispuesto a pagar por l Si algn punto anterior no es verdadero, entonces no hay valor agregado para el cliente!
4
Necesidades de Acceso a Datos
Marketing Ventas Call Center Legal Clientes Socios Etc.
Aplicacin
Aplicacin
Aplicacin
Aplicacin
Aplicacin
5
El Proceso Analtico Y La Cadena Alimentaria
El Proceso Analtico Y La Cadena Alimentaria
Uso de herramientas analticas
Gerencia Ejecutiva
Marketing y Ventas Recursos Humanos
Finanzas
Cobro
Pedidos
Manufactura
Shipping
Contabilidad
Servicio al Cliente
7
Muchos Datos, Poca Informacin
Qu combinaciones de productos estn comprando mis clientes?
Cmo debo responder a una accin de un competidor?
Cual es la tendencia del ndice de satisfaccin de los clientes?
Cmo estn las ventas comparadas con el pasado?
Clientes Competencia Inventario Ventas semanales
Mi conjunto de productos est adecuado al mercado?
Productos, clientes, mercado, riesgo, fraude, tendencias, comportamiento
Dato Vs. Informacin
Datos son componentes bsicos a partir de los cuales la informacin es creada Informacin son datos insertados en un contexto Contexto es la situacin que est siendo analizada A partir de la informacin se obtiene conocimiento, el que permite tomar decisiones
Que cuando adecuadas, ayudan al negocio a alcanzar sus objetivos
9
Pero El Contexto Cambia...
De usuario para usuario
Ejecutivos Gerentes Ejecutores
De un escenario competitivo en relacin a otro
Estacionalidad Cambios en el mercado Nuevos competidores
Y a menores ciclos de negocio, ms variaciones En la prctica, hoy es imposible prever cmo los datos sern utilizados!
10
Arquitectura Y Distribucin De Datos
Departamental
Sistemas Transaccionales
Datos Operacionales
Corporativo
Datos Operacionales Datos Operacionales
Extraccin Transformacin y Carga
Sistemas de Informacin
11
ODS Data Mart
Data Warehouse
Data Mart
Data Mart
Data Mart
Acceso a travs de distintas herramientas
DW Vs. ODS
Data Warehouse es un conjunto de datos
orientados a un tema
integrados
no-voltiles variables con el tiempo1
orientados a un tema integrados voltiles recientes
detallados1
Anlisis estratgico
Proyecciones, tendencias Segmentacin del mercado y clientes
Anlisis tctico
Gestin de campaas Servicio al cliente Just in time marketing
DW
ODS
12
1William
H. Inmon
Operational Data Store (ODS) es un conjunto de datos
El Operational Data Store Dinmico
Sistemas Transaccionales
Ambiente heterogneo
Sybase Rep. Agent
Aplicacin
DB2,VSAM & IMS
Sybase Rep. Agent
Operational Data Store Dinmico
Extraccin Transformacin E Carga (ETL)
Operational Data Store (ODS)
Front-end Consultas y reportes
Aplicacin
Informix
Sybase Rep. Agent
Servidor
Aplicacin
Microsoft SQL Server
Sybase Rep. Agent
Sybase Replication Server & ASE Ascential Informatica
Storage
. . . etc.
Aplicacin
Oracle
Data Warehouse/Marts Datos de clientes Servicios Web Adherencia regulatria
Aplicacin
Sybase
Alimentacin de otros sistemas
ASE
13
La Importancia De Los Queries AdHoc
Tipos de Queries Data Warehousing es un proceso de descubrimeinto...
- Bill Inmon
Reportes Pre-planeados 51%
Queries Ad-hoc 49%
La primera pregunta que alguien de marketing hace, nunca es la pregunta correcta. Es un proceso iterativo de preguntas y respuestas para desarrollar insights acerca del negocio...
- Pete Estler, Presidente, EDS dbIntellect
Fonte: Meta Group
14
Sybase IQ Una Nueva Forma
15
Sybase IQ
Scan de Tablas
Sybase IQ
16
Sybase IQ: Enfocado A DSS, BLOb Y VLDB
RDBMS Clsico RDBMS Clsico
SQL: Create table ABC
yellow, blue, red, magenta
Sybase IQ
SQL: Select sum (red) from ABC
2 3
4 ..... 100
Db page 2-32kB
Db page 512kB
4 . 100
17
Forma Tradicional
Fecha Tienda Estado Clase Ventas
Calcular el promedio de ventas de las tiendas A de So Paulo
1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996
32 36 38 41 43 46 47 49
SP MG SP BA SP RJ DF SP
A A B A A B B A
6 9 5 11 9 3 7 12
La forma tradicional:
Selecciona-se un filtro, si disponible
-Normalmente es necesario un scan
en la tabla
Lem-se as pginas de dados e faz-se a soma das vendas -Los datos distribuidos aleatoriamente exigen ms lecturas de pginas -Los datos irrelevantes de las pginas tambin son ledos
18
Solucin Tradicional - Paralelismo
Calcular el promedio de ventas de las tiendas A De So Paulo
Fecha Tienda Estado Clase Ventas
800 Bytes por lnea Pginas de datos de 16K 10 Millones de lneas Son necesarios 500.000 I/Os
1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996
32 36 38 41 43 46 47 49
SP MG SP BA SP RJ DF SP
A A B A A B B A
6 9 5 11 9 3 7 12
Paralelismo no resuelve ese problema!
Mucho ms hardware, un poco ms rpido
Pocas consultas pueden ser ejecutadas por vez Caro e inflexible cuando se trata de queries ad-hoc
19
Particin Vertical De Datos
Sybase IQ: Los datos son almacenados en COLUMNAS en vez de LNEAS
Fecha
Fecha
Tienda
Tienda Estado Clase Ventas
Estado Clase
Ventas
Beneficios: Solamente son ledos los datos relevantes al query
Los tipos de datos son
consistentes y pueden ser comprimidos
Es fcil alterar y
1/3/1996 32 1/3/1996 1/3/1996 36 1/3/1996 1/3/1996 38 1/3/1996 1/3/1996 41 1/3/1996 1/3/1996 43 1/3/1996 46 1/3/1996 1/3/1996 47 1/3/1996 1/3/1996 49 1/3/1996
1/3/1996
32 SP SP 36 MGMG 38 SP SP 41 BA BA 43 SP SP 46 RJ RJ 47 DF DF 49 SP SP
A A A B B A A A A B B B B A A
6 6 99 55 11 11 99 33 77 12 12
mantener la base de datos
20
Particin Vertical De Datos
Sybase IQ: Son ledas apenas las columnas necesarias para la resolucin del query
Calcular el promedio de ventas de las tiendas A De So Paulo
Fecha Tienda Estado Clase Ventas
Beneficios: Sybase IQ puede reducir en ms de 90% los I/Os solo por eso
1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996 1/3/1996
32 36 38 41 43 46 47 49
SP MG SP BA SP RJ DF SP
A A B A A B B A
6 9 5 11 9 3 7 12
21
ndices Bit-Mapped
ndice Bitmap de ESTADO
Estado
da
row-id Clase
AL Ventas
BA
DF
ES
GO
MG
RJ
SP
2 6 8 1 3 6 7 9
SP MG SP BA SP RJ DF SP
1 A 2 A 3 B 4 A A 5 B 6 B 7 A 8
0 6 0 9 0 5 0 11 0 9 3 0 7 0 12 0
0 0 0 1 0 0 0 0
0 0 0 0 0 0 1 0
0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0
0 1 0 0 0 0 0 0
0 0 0 0 0 1 0 0
1 0 1 0 1 0 0 1
...
22
ndices Bit-Wise
Ventas en binario
Ventas
Ventas en binario
bit 8 bit 4 bit 2 bit 1
bit 8
bit 4
bit 2
bit 1
6 9 5 11 9 3 7 12
0 1 0 1 1 0 0
1 0 1 0 0 0 1
1 0 0 1 0 1 1
0 1 1 1 1 1 1
0 1 0 1 1 0 0 1
1 0 1 0 0 0 1 1
1 0 0 1 0 1 1 0
0 1 1 1 1 1 1 0
Agregaciones, Promedios y Ranges extremamente rpidos Los datos son comprimidos en hasta 80%
23
+90% De Ahorro En Storage
$$$
Fibre Channel: $30K-$100K/TB
$$ $
requirido para RDBMS Clsico DBMS: (DB2, Oracle, MS SQL, NCR, File System )
$1K-$5K/TB
ATA en 2005: $1.5K-$5K/TB
Automated Tape Silo (ATS)
IQ:
del tamao de un RDMS Clsico
del precio por TB (ATA)
=90%
Ahorro en storage
24
Sybase IQ: Storage De Alta Densidad
4 TB de capacidad (formateada) [ IQ manejar 5-10 TB de datos ]:
100 Billion records (100 bytes each) 5 Million documents ( 1 MB each)
1,000-2,000 movies (3 GB each)
100,000 songs (50MB each)
Sybase IQ corre en discos ATA con la misma velocidad de discos FC o SCSI Precios=$15K $2K-$5K/TB igual o menor que silos de cintas o pticos Lectura: 400 MB/sec [1.3 TB/h] 1,500 videos de alta definicin o 400 docs/s Proveedores de Storage ATA: Sun (3511, 6130), EMC (AX 100), HP, IBM
5 TB Disk Array=$15K ( HW RAID ATA)
19 ( 500 mm)
4 (100 mm)
25
IQ Multiplex: Real-time, Paralelismo, HA Y DR
Empresa A Carga de Datos Empresa B
Empresa C Empresa Z
1000s de usurios
IQ
Unix
SMP
IQ
IQ
Unix SMP
IQ IQ
Unix SMP FC DB
IQ
Unix SMP
Funciones de administracin de Sybase IQ
26
Sybase IQ / EMC CLARiiON: Ejemplo
mark 24 mark 23
Snapshot Snapshot mark 22 Snapshot Snapshots mark 21
CX array Primario
mark20
CX array Secondario
mark30
IQ Produc. Desall/Prueba
Snapshots
mark38 mark37
BCV
BCV - copia completa y sincronizacin reversa
mark36 mark35 mark34 mark33 mark32 mark31
Snapshots
Clone
mark10
IQ Produccin
Snap
Delta rollback
mark 11 mark 12
mark40
mark41 B/R de IQ de Produccin mark42 Snapshots Snapshots mark43 Snapshots Snapshots mark44
Snapshot Snapshot mark 13 Snapshot Snapshots mark 14
27
Validacin En Laboratorio
CX700 - 1
Servidores Sun Servidores Sun
mark11 mark12 mark13
200GB
200GB
200GB/h 200GB/h
+600 GB/h (+10 GB/min)
200GB/h
mark31
100GB
200GB
mark10 10 TB
+400 GB/h (+6 GB/min) +400 GB/h (+6 GB/min)
+500 GB/h (+8 GB/min)
mark30 200GB/h 10 TB
100GB
mark32
EMC CX 700
EMC CX 700
Servidores Sun
mark21
150GB
200GB/h 200GB/h
mark40 10 TB
Servidores Sun
200GB/h 250GB 200GB/h
80GB
mark41
mark42
mark22
100GB
mark20 10 TB
28
DWH De 10TB En Sybase IQ: Tiempos De B/R Y DR Menor Que 60s
Backup local completo: (usando sub-5% copia delta) <30s Restore local completo: (usando sub-5% copia delta) <60s
Backup local completo: (usando 100% clone) <60s Restore local completo: (usando 100% clone) <60s Failover local completo para 100% clone 0s (lectura) Backup remoto completo: (usando 100% clone) 30-60s Refresh remoto completo: (usando 100% clone) 1TB/h ? Restore remoto completo del primario: 1TB/h Restore remoto completo: (usando copia remota 5%-delta) <60s
29
Resumen
Particin vertical de datos
Los datos son almacenados fsicamente en columnas, y no lneas la forma natural de acceso en el ambiente analtico
Estructuras de almacenamiento especiales (ndices)
LowFast, HighNonGroup, High Group,Fast Projection, otros
Los ndices son definidos anticipadamente, de acuerdo a las caractersticas de los datos y no de las consultas
Soporte a VLDB
Paralelismo
Durante la carga y las consultas Escalabilidad virtualmente lineal (98%)
30
Resumen
Flexibilidad sin precedentes
Cualquier esquema (el esquema lgico no se traduce directamente en objetos fsicos)
Estrella, desnormalizado, normalizado, archivos o tablas planas con hasta 45.000 columnas (hasta 10.000 es el recomendado)
Mnimo impacto en la alteracin del esquema del BD
Cargas, backup y consultas pueden ser hechos simultneamente
247
Carga on-line y en tiempo real
Failover automtico con IQ Multiplex
Soporte a mirroring backup incremental y para disco
31
Resumen
Ahorro
Alta eficiencia en la utilizacin de disco (normalmente entre 70 e 80% del dato crudo) Mnima necesidad de intervencin del DBA que puede dedicarse a cosas ms nobles Arquitectura escalable con bajo costo de entrada UNIX (Sun, HP, IBM), Linux, Windows
Confiabilidad
Tecnologa de ms de 10 aos Ms de 8 aos en produccin (ms de 20 clientes en Chile, Consalud hace ms de 7 aos)
32
Mejor Que Eso, Solo Si Es Verdad! Sybase Presentation Template
Estudio De Caso: Farmacias Salcobrand, Chile
Sybase Confidential Propriety.
Sybase Confidential
Problema
Base con 700 GB almacenados y creciendo Muchos requerimientos hay que resolverlos en forma ad-hoc
Tiempos de respuesta de reportes demoran desde minutos a varias horas Existe dificultad en la posibilidad de realizar nuevos anlisis Estamos obligados a generar tablas con agregaciones de datos para mejorar algo la performance (igual con tiempos de respuesta alto).
Gran demanda de almacenamiento y recursos computacionales
Dificultad para incorporar nuevos datos
Gran demanda de administracin de la plataforma
Muchas horas hombre dedicadas a sintonizacin y administracin del disco
34
Resultados
COMPRESIN DE DATOS Tamao base de datos IQ (incl. 2 ndices extras por columna) Tamao de las mismas tablas en Oracle (data+ndices) Factor de Compresin 2,43 veces menor IQ que Oracle 9i Relacin tamao Sybase IQ vs archivos planos = 77,3% 74,49 GB 180,89 GB
CARGA DIARIA DE DATOS TOTAL Proceso Carga Incremental BT_STOCK Sybase IQ TOTAL Proceso Carga Incremental BT_STOCK Oracle 9i 7 minutos 120 minutos
Tiempo de Carga Incremental 15,3 veces menor Sybase IQ que Oracle 9i
35
SEGUNDOS
100000 10000 1000 100 10
0,1
Resultados (tiempos de respuesta)
Nota: Escala Logartmica
Procesos
1h 29min
Comparativo Oracle 9i v/s Sybase IQ
5340
16920
660
11 min
4h 42min
Oracle
SybaseIQ
Ag g_ p Ag rod g_ uct o_ p m Ag rod es uc g_ to pr _m Ag od es g_ uc to pr _m Ag od g_ uct es o_ re m Ag p_ e pr g_ od s st uc Ag ock t _p o_d g_ ro i vt du a BT a_ gr ct _b o up o oa _dia BT deg _m a_ _f or nu es e Bt ma _d va _f or e_ m a_ pag Bt _f or de_ o m pa a Bt g _v _d e_ o ta pa Bt s_d go ia _V ria ta s Bt s_D _v ia ta ria s Bt s_d _v ia ria ta Bt s_d s ia _v ri ta s_ a s C di ar ga aria s Ve De St nt oc a Ve Red k m nt ax as x 33 In D fo ia rm 0 p or Ve e C Di lo a nt as seUp Lo Ve c (D nt ia as al P No rod rio) (1 Ph u c 5 to ar D M m es IAS a ) M (0 F po 607 0 rv en 8) de do r lo c
36
al
Una Nueva Forma De Sybase Presentation Template Resolver Problemas Antiguos
Valsoir Tronchin. 27/10/2005
Director De Tecnologa, LAO valsoir.tronchin@sybase.com
Sybase Confidential Propriety.
Sybase Confidential
Lmites
38
Lmites
39
