AA5-Ev1-Validación de técnicas de migración y herramientas ETCL
Aprendiz: Sthepan Miranda Bernal
Ficha: 2010639
Técnicas de migración
Sincronización de bases de
datos
Importación/Exportación de
Archivos (CSV) o XML a
través de comandos de
consola o interfaz gráfica
Sentencias
Requerimientos técnicos
Copia de datos y metadatos
de una base de datos origen a
una base de datos destino
mediante una herramienta
tecnológica. Los asistentes de
sincronización de los SMBD
son configurados con las
bases de datos origen y la
base de datos destino,
parametrizando la ubicación
de particiones y métodos de
seguridad.
Se pueden utilizar diferentes
tipos de archivos pero los
formatos más usados son los
archivos de texto, llamados
archivos planos, que guardan
la información sin formato
usando solo caracteres Los
sistemas de codificación más
comunes para estos archivos
son: ASCII, ISO-8859-1 o Latín-
1 y Unicode.
Una posibilidad de los SMBD
Ventajas y desventajas
Un fallo en uno de los
servidores de base de datos
no impida a los usuarios
seguir utilizando la aplicación.
A través de múltiples
servidores, te aseguras que
los datos van a estar
disponibles incluso en el caso
de que una de las máquinas
tenga un fallo grave de
hardware. El sistema
distribuido de gestión de
bases de datos debe ser capaz
de enrutar a los usuarios
afectados a otro de los nodos
disponibles. al estar los datos
distribuidos en diferentes
servidores, los múltiples
accesos no saturan los
servidores
Los archivos de texto pueden
tener formato delimitado
utilizando coma(,), punto y
coma (;) o Tabulaciones para
delimitar los campos
definiendo de esa forma
columnas y filas. También
pueden tener formato de
ancho fijo para los campos,
que se utiliza para delimitar
columnas y filas. Un formato
de archivo plano muy usado
es el “.CSV” (Comma-
SeparatedValues, en español
Valores Separados por Coma),
donde el delimitador usado es
una coma. Muy usado para
movimientos de datos con
hojas de cálculo.
En un script SQL se pueden
 DML es la utilización de sentenciasrealizar las siguientes tareas:
DML para generar scripts SQL • Copia de seguridad para
que permiten realizar
creación de todos los
migraciones de bases de usuarios, grupos, inicios de
datos existentes. sesión y permisos.
• Creación o actualización de
código para la
implementación de una base
de datos.
• Creación de un entorno de
pruebas
Procedimiento Esta técnica se basa en el Todos los procesos ETL
s ETCL diseño y construcción de constan de
(Extracción, procedimientos técnicos para tres fases diferenciadas:
Transformación, Limpieza y realizar Extracción, 1) Extracción.
Carga) Transformación, Limpieza y 2) Transformación.
Cargue de Datos (ETCL). 3) Carga.

HERRAMIENTAS ETCL

Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en
java y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL . Esta herramienta se
creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos XML. Para
recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está
representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por
Benetl dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de
recuperar automáticamente los datos mediante el uso de diversas tareas planificadas de su
sistema. Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los
archivos de datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.
Características Benetl

Tecnologías:

- Java 7 update 80
- PostgreSQL 9.5.0 (con el apoyo plpgsql)
- MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario(para controlador
suministrado)
- Con Windows (se utiliza "tareas programadas")
- Benetl 4.7 funciona en Linux.

Requerimientos Técnicos:

- ejecución de Java (JRE) 1.7

- base de datos PostgreSQL 9.5 con soporte plpgsql
- base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de
- sesión de usuario o el controlador oficial de MySQL (no incluido)
- Probado en sistemas de 64 bits

Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de la tabla de
PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos. Un archivo llamado
"EtlTool.bat" se creará en la carpeta de origen de datos. Debe presionar enter para validar su
nombre EtlTool, y luego se pueden guardar los parámetros.

Aplicación SMBD seleccionado

SQL Server Integration Services:

Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de

transformaciones de datos e integración de datos. Integration Services sirve para resolver
complejos problemas empresariales mediante la copia o descarga de archivos, el envío de
mensajes de correo electrónico como respuesta a eventos, la actualización de almacenamientos
de datos, la limpieza y minería de datos, y la administración de objetos y datos de SQL Server. Los
paquetes pueden funcionar en solitario o junto con otros paquetes para hacer frente a las
complejas necesidades de la empresa. Integration Services puede extraer y transformar datos de
diversos orígenes como archivos de datos XML, archivos planos y orígenes de datos relacionales y,
después, cargar los da tos en uno o varios destinos. Integration Services contiene un variado
conjunto de tareas y transformaciones integradas, herramientas para la creación de paquetes y el
servicio Integration Services para ejecutar y administrar los paquetes. Las herramientas gráficas de
Integration Services se pueden usar para crear soluciones sin escribir una sola línea de código.
También se puede programar el amplio modelo de objetos de Integration Services para crear
paquetes mediante programación y codificar tareas personalizadas y otros objetos de paquete. El
SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del
origen y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro
de tablas de ETL. Se pueden importar datos de fuentes diferentes a SQL Server.
Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de
migración fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden
crear scripts en c# o VB.

Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se pueden
guardar en archivos dtsx o en la base de datos en formato XML. Una vez implementado el paquete
puede ser depurado.

Características SSIS

- Ultima Versión: SQL Server 2014 Integration Services

- Requerimientos Técnicos:
- Instalar en un equipo de 64 bits
- Instalar en un servidor dedicado para ETL
- Si requiere las características en tiempo de diseño de Integration Services, también debe
instalar Business Intelligence Development Studio.
- Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de
Integration Services para ejecutar ciertos paquetes en modo de 32 bits, también debe instalar
Business Intelligence Development Studio.

1. Oracle Warehouse Builder:

Es una complete herramienta para todos los aspectos de administración de datos y metadatos.
Esta brinda características para asegurar la calidad de datos, que integran el modelado relacional y
multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos

Enterprise ETL Option

La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que
puede ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del
motor de base de datos (Oracle DB Enterprise Edition). Opciones Avanzadas para Carga de Datos
En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos
debido a las grandes cantidades de datos que participan en la carga. Como parte de la Enterprise
ETL Option, Warehouse Builder permite ejecutar cargas de datos usando métodos rápidos y
eficientes tales como el Oracle Data Pump y transportable tablespaces. Esta es una aproximación
completamente diferente al movimiento de datos que se realiza por medio de conjuntos de datos
controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben
entonces a la omisión de las capas SQL tradicionales.

Soporte a Dimensiones Lentamente Cambiantes Integrado

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los

metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a los datos que
se insertan dentro de la misma. Una vez, los usuarios de negocio han decidido que atributos son
importantes, el modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve
esta dimensión como cualquier otra. El siguiente paso es definir cómo efectuar los cambios y
actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la definición de la
dimensión. La combinación entre estos pasos, el diseño y la estandarización hacen que los
procesos relacionados con dimensiones lentamente cambiantes presente un alto desempeño en
su ejecución.

Traza Lineal de Principio a Fin

Los servicios de administración de dependencias (Warehouse Builder Dependency Management )

le permiten prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los
metadatos del sistema ETL antes de que estos puedan afectarlo y deterióralo.

Administración de Configuraciones Avanzadas

Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a
producción) es un problema frecuente.

Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar
los ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios
desde el ambiente de desarrollo a producción, el código generado en desarrollo es modificado en
producción solo en áreas específicas. Por ejemplo, la información sobre las conexiones es
substituida por la definida en desarrollo.

IBM InfoSphere DataStage:

IBM InfoSphere DataStage integra datos de múltiples sistemas utilizando una estructura paralela
de elevado rendimiento y da soporte a la gestión ampliada de metadatos y la conectividad de la
empresa. Esta plataforma escalable proporciona una integración más flexible de todos los tipos de
datos, incluidos big data inactivos (basados en Hadoop) o en ejecución (basados en secuencias), en
plataformas de mainframe y distribuidas.

InfoSphere DataStage incluye estas características y beneficios:

La plataforma ETL potente y escalable —admite la recopilación, integración y transformación de

grandes volúmenes de datos con estructuras de datos tanto simples como complejos.

El soporte para Big Data y Hadoop —permite el acceso directo a BIG Data en un sistema de
archivos distribuido.

Integración de datos prácticamente en tiempo real —y conectividad entre aplicaciones y orígenes

de datos.

La gestión de cargas de trabajo y reglas de negocio —optimiza la utilización de hardware y prioriza

las tareas más importantes.

La facilidad de uso—amplía la velocidad, la flexibilidad y la efectividad para crear, desplegar,

actualizar y gestionar la infraestructura de integración de datos.