TECNICAS DE MIGRACION DE DATOS Y ETCL

INTRODUCCION
Cuando, como sucede en todo proceso de migracin, se ha de proceder a integrar
dos o ms sistemas pueden usarse diferentes tcnicas, siendo las ms comunes:

Perfilado de datos: permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta tcnica hace posible tambin el obtener
resultados acerca de duplicidades o errores en los datos.

Limpieza de datos: que puede llevarse a cabo empleando para ello una
herramienta de Data Quality que ayude a eliminar errores, incorrecciones o
duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca
y homologue los datos, preparndolos para el sistema de destino.

Conexin a distintas fuentes de datos: una tcnica que precisa de una

herramienta ad hoc que garantice el hacerlo en condiciones de
simultaneidad.

Las ventajas que proporciona el usar estas tecnologas se traducen en un aumento

de la precisin, reduccin del ndice de errores, mayor agilidad y optimizacin del
tiempo; ya que su automatizacin evita los procesos manuales, algo que supone
su principal beneficio.
Qu se debe tener en cuenta para la eleccin del software de ETL
Existen muchas herramientas de ETL diferentes, como tambin hay infinidad de
bases de datos, sistemas y organizaciones distintas. En el momento de
seleccionar la que liderar la migracin e integracin de datos pueden tomarse en
consideracin las recomendaciones de Gartner en cuanto a las cualidades que la
herramienta ha de presentar:

Adaptabilidad a distintos sistemas operativos y plataformas hardware.

Capacidades de gestin de datos: en cuanto a minera, perfilado y calidad.

Habilidades para monitorizar, gestionar y controlar los procesos de

integracin de datos: en lo relativo a gestin de errores, recoleccin de
estadsticas de ejecucin, controles de seguridad, etc.

Capacidades SOA.

Capacidades de diseo y entorno de desarrollo: como soporte para test,

representaciones grficas, modelos y flujos de datos y flujos de datos, etc.

Cualidades de arquitectura e integracin referidas al grado de

interoperabilidad, compactacin y consistencia de los diferentes
componentes que la formen.

Aunque la eleccin de un software de ETL no es sencilla, su repercusin en el

curso del proyecto es decisiva. Una decisin correcta pasa por la automatizacin
y en base a ella quedan garantizados:

Un aumento en la velocidad de desarrollo del proyecto.

La descentralizacin del control de la ejecucin y de todos los procesos.

Una mayor agilidad en el negocio.

Mayor precisin.

Minimizacin de errores.
HERRAMIENTAS ETL

IBM Cognos Data Manager

Oracle Warehouse Builder

Microsoft Integration Services

Informatica PowerCenter

IBM Cognos Data Manager

Caractersticas:

IBM Cognos Data Manager proporciona funciones dimensionales de

extraccin, transformacin y carga (ETL) para conseguir una inteligencia
empresarial de alto rendimiento.

Se puede integrar con la GUI de IBM Data Manager Designer para disear
y crear prototipos

Se pueden ejecutar compilaciones y secuencias de trabajos en sistemas

remotos desde un sistema de entorno de diseo de Data Manager.

Data Manager Engine se tiene que instalar en un sistema UNIX o Linux.

ORACLE DATABASE 11G ORACLE WAREHOUSE BUILDER ENTERPRISE

ETL OPTION
Caracteristicas:

La opcin empresarial ETL (Enterprise ETL Option) para Warehouse

Builder es una opcin que puede ser adquirida con Oracle Warehouse
Builder como parte de la edicin empresarial del motor de base de datos.

Permite ejecutar cargas de datos usando mtodos rpidos y eficientes tales

como el Oracle Data Pump y transportable tablespaces.

Permite prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL

Es posible generar un modelo para configurar los ambientes de desarrollo,

pruebas y produccin a niveles separados.

Microsoft SQL Server Integration Services

Caracteristicas:

Puede extraer y transformar datos de diversos orgenes como archivos de

datos XML, archivos planos y orgenes de datos relacionales y, despus,
cargar los datos en uno o varios destinos.

Se pueden realizar tareas de migracin fcilmente usando tareas visuales.

Si se desea crear nueva funcionalidad, se pueden crear scripts en c# o VB.

Puede conseguir conectividad mediante CLI va DLLs tipo ensamblador.

Informatica PowerCenter:
Caracteristicas:

Calidad de datos generalizada para todos los grupos de inters, proyectos y

aplicaciones utilizando una sola plataforma unificada.

Descubrimiento y anlisis de datos, deteccin de riesgos ocultos,

localizacin de problemas estructurales y detencin de la propagacin de
los problemas de calidad.

Acceso, integracin y entrega de los datos rpidamente, de forma rentable

y sin codificacin manual.

Normalizacin de los datos en los formatos de tabla de destino y carga en

los nuevos sistemas.

Garanta de acceso y entrega de datos crticos a toda la empresa donde y

cuando se necesiten, asegurando la conectividad sin lmites a una amplia
variedad de fuentes de datos.

Aplicacin de test de validacin para garantizar que los datos se mantiene

libres de daos y que no han sufrido menoscabos durante su traslado o
transformacin.

Interesantes opciones de integracin de metadatos, que marcan la

diferencia con otras herramientas de migracin de bases de datos.

Visibilidad y control para todos los usuarios de negocio, que les otorga la
libertad necesaria para crear, administrar y compartir informacin
empresarial de carcter crtico contextualizada durante el proceso de
migracin.

Enmascaramiento de datos sensibles efectivo antes de producirse el

traslado a los nuevos sistemas de destino.

Creacin de subconjuntos seguros de datos de produccin procedentes de

grandes bases de datos sin restricciones.

Extraccin rpida de datos de los sistemas de legado con cero impacto en

el desempeo operativo durante el proceso de migracin de datos.

COMPARATIVA

FACILIDAD DE USO

IBM: Se puede integrar con la GUI de IBM Data Manager Designer pero este
es un mdulo aparte.
Oracle: Fcil cuando se trata de informacin almacenada en bases de datos
Oracle, debido a las herramientas Data Pump y transportable tablespaces,
pero no ofrece mucha compatibilidad a otras BD.
Microsoft: Se pueden realizar tareas de migracin fcilmente usando tareas
visuales.
PowerCenter: Tiene una GUI fcil de utilizar, pero requeriere entrenamiento
para aprovecharla.
SOPORTE:

IBM: Soporte mundial contratando en paquete.

Oracle: Va soporte local Oracle Latinoamrica.
Microsoft: Soporte va plataforma TechNet.
PowerCenter: Soporte mundial va web y consultora.
IMPLEMENTACION

VELOCIDAD

IBM: Muy rpido cuando se trabaja con DB2 sin embargo la capa de
compatibilidad disminuye la velocidad de conexin con distintos manejadores
de base de datos.
Oracle: La velocidad es proporcional al servicio Oracle en el cual este
trabajando.
Microsoft: La velocidad es proporcional al servicio MSSQL en el cual este
trabajando.
PowerCenter: Herramienta ms rpida gracias a PushDown, sin embargo los
cambios son en momento y no permite hacer Rollback a un estado anterior.
CALIDAD DE LA INFORMACION

IBM: Mediante Cognos Data Manager Packages se pueden incorporar

herramientas para DQ.
Oracle: Permite DQ mediante el uso de Oracle Warehouse Builder Data
Profiling Features.
Microsoft: Requiere del software SQL Server Data Quality Services para
ofrecer herramientas DQ.
PowerCenter: Ofrece DQ a travs de otro producto llamado Informatica Data
Quality.
MONITOREO

IBM: Maneja registro de histricos.

Oracle: Tiene herramientas prcticas y extensivas de monitoreo y registro
histrico.
Microsoft: Tiene herramientas prcticas y extensivas de monitoreo y registro
histrico.
PowerCenter: Tiene herramientas prcticas y extensivas de monitoreo y
registro histrico.
CONECTIVIDAD

IBM: Cualquier conexin ODBC, DB2, para importacin a DB2, cubos de

informacin T1MAP.
Oracle: Solamente compatible con bases de datos Oracle mismas que la
instalada en el DataWarehouse
Microsoft: Bases de datos SQL SERVER, ACCESS, ADO.NET
PowerCenter: Varias bases de datos, archivos planos, xml, Excel, servicios
web puede exportar como servicio web.