AA5-EV1-VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y HERRAMIENTAS ETCL

PRESENTADO POR

DIEGO ARMANDO BARBOSA

CC 1067721446

SERVICIO NACIONAL DE APRENDIZAJE (SENA)

GESTIÓN Y SEGURIDAD DE BASES DE DATOS
VALLEDUPAR
2019
 MIGRACIÓN: SECRETARÍA DE HACIENDA

TÉCNICAS EXISTENTES PARA EL PROCESO DE MIGRACION

Existen varias técnicas relacionadas con los procesos de migración de datos, a continuación se
relacionan las más utilizadas en los procesos actuales.

SINCRONIZACIÓN DE BASE DE DATOS

Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos bases de
datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de datos
destino mediante una herramienta tecnológica. Los asistentes de sincronización de los SMBD son
configurados con las bases de datos origen y la base de datos destino, parametrizando la ubicación
de particiones y métodos de seguridad.

IMPORTACIÓN/EXPORTACIÓN DE ARCHIVOS (CSV) O XML A TRAVÉS DE COMANDOS DE

CONSOLA O INTERFAZ GRÁFICA
Para las actividades de migración de datos es muy común utilizar archivos para el movimiento de los
datos. Se pueden utilizar diferentes tipos de archivos, pero los formatos más usados son los archivos
de texto, llamados archivos planos, que guardan la información sin formato usando solo caracteres.
Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1 o Latín-1 y
Unicode.
Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y coma (;) o
Tabulaciones para delimitar los campos definiendo de esa forma columnas y filas. También pueden
tener formato de ancho fijo para los campos, que se utiliza para delimitar columnas y filas.
Un formato de archivo plano muy usado es el “.CSV” (Comma-Separated-Values, en español Valores
Separados por Coma), donde el delimitador usado es una coma. Muy usado para movimientos de
datos con hojas de cálculo.
Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup Language), que utiliza
un metalenguaje extensible de etiquetas las cuales sirven como estándar para intercambio de
información estructurada entre distintas plataformas.

SENTENCIAS DML
Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts SQL que
permiten realizar migraciones de bases de datos existentes.
En un script SQL se pueden realizar las siguientes tareas:

 Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión y permisos.
 Creación o actualización de código para la implementación de una base de datos.
 Creación de un entorno de pruebas.
Los procesos se orientan al uso de las sentencias DML, para realizar el paso de datos de la base de
datos de origen a la base de datos destino, a través de los entornos administrativos de los SMBD.

PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y CARGA)

Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar Extracción,
Transformación, Limpieza y Cargue de Datos (ETCL). Los procedimientos o pasos necesarios para
el desarrollo de un proyecto de migración de datos utilizando la metodología ETCL son:

En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por lo cual pueden
usarse diferentes técnicas, siendo las más comunes:

 Perfilado de datos: Permite explorar los propios datos, agregando a los de origen las reglas
necesarias. Esta técnica hace posible también el obtener resultados acerca de duplicidades o errores
en los datos.
 Limpieza de datos: Puede llevarse a cabo empleando para ello una herramienta de Data
Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre otras inconsistencias; y que,
al mismo tiempo, enriquezca y homologue los datos, preparándolos para el sistema de destino.
 Conexión a distintas fuentes de datos: Técnica que precisa de una herramienta ad hoc que
garantice el hacerlo en condiciones de simultaneidad.
Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la precisión,
reducción del índice de errores, mayor agilidad y optimización del tiempo; ya que su
automatización evita los procesos manuales, algo que supone su principal beneficio.
QUÉ SE DEBE TENER EN CUENTA PARA LA ELECCIÓN DEL SOFTWARE DE ETL
Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de datos,
sistemas y organizaciones distintas. En el momento de seleccionar la que liderará la migración e
integración de datos pueden tomarse en consideración las recomendaciones de Gartner en cuanto a
las cualidades que la herramienta ha de presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de integración de datos: en lo
relativo a gestión de errores, recolección de estadísticas de ejecución, controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test, representaciones
gráficas, modelos y flujos de datos y flujos de datos, etc.
 Cualidades de arquitectura e integración referidas al grado de interoperabilidad, compactación
y consistencia de los diferentes componentes que la formen.

Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del proyecto es

decisiva. Una decisión correcta pasa por la automatización y en base a ella quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión.
 Minimización de errores.

HERRAMIENTAS ETCL
APLICACIÓN DE USO LIBRE
Benetl: Es una herramienta ETL de uso libre, desarrollada entre los años 2007 – 2014, hecha en java
y trabaja con base a lenguajes de base de datos PostgreSQL o MySQL.
Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos de fuente de datos
XML. Para recuperar los datos que tendrán que definir un dato de tiempo y una entidad, que está
representado por datos a calcular o para mostrar. Todos los objetos útiles serán creados por Benetl
dentro de una base de datos MySQL o PostgreSQL. La aplicación también es capaz de recuperar
automáticamente los datos mediante el uso de diversas tareas planificadas de su sistema.
Mediante el uso de Benetl podrá se ha podido recuperar fácilmente la información de los archivos de
datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.

Caracteristicas Benetl
Tecnologias:
 Java 7 update 80
 PostgreSQL 9.5.0 (con el apoyo plpgsql)
 MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario (para controlador
suministrado)
 Con Windows (se utiliza "tareas programadas")
 Benetl 4.7 funciona en Linux.

Requerimientos Tecnicos:
 ejecución de Java (JRE) 1.7
 base de datos PostgreSQL 9.5 con soporte plpgsql
 base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de sesión de usuario
o el controlador oficial de MySQL (no incluido)
 Probado en sistemas de 64 bits
APLICACIÓN SMBD SELECCIONADO
1. SQL SERVER INTEGRATION SERVICES:
Microsoft Integration Services es una plataforma para la creación de soluciones empresariales de
transformaciones de datos e integración de datos. Integration Services sirve para resolver complejos
problemas empresariales mediante la copia o descarga de archivos, el envío de mensajes de correo
electrónico como respuesta a eventos, la actualización de almacenamientos de datos, la limpieza y
minería de datos, y la administración de objetos y datos de SQL Server. Los paquetes pueden funcionar
en solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la empresa.
Integration Services puede extraer y transformar datos de diversos orígenes como archivos de datos
XML, archivos planos y orígenes de datos relacionales y, después, cargar los datos en uno o varios
destinos.
Integration Services contiene un variado conjunto de tareas y transformaciones integradas,
herramientas para la creación de paquetes y el servicio Integration Services para ejecutar y administrar
los paquetes. Las herramientas gráficas de Integration Services se pueden usar para crear soluciones
sin escribir una sola línea de código. También se puede programar el amplio modelo de objetos de
Integration Services para crear paquetes mediante programación y codificar tareas personalizadas y
otros objetos de paquete.
El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los datos del origen
y permitiendo hacer iteraciones y cambios de información antes de llegar al destino dentro de tablas
de ETL. Se pueden importar datos de fuentes diferentes a SQL Server.
Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas de migración
fácilmente usando tareas visuales. Si se desea crear nueva funcionalidad, se pueden crear scripts en
c# o VB.
Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se pueden
guardar en archivos dtsx o en la base de datos en formato XML.
Una vez implementado el paquete puede ser depurado.
Caracteristicas SSIS
Ultima Version: SQL Server 2014 Integration Services
Requerimientos Técnicos:
 Instalar en un equipo de 64 bits
 Instalar en un servidor dedicado para ETL
 Si requiere las características en tiempo de diseño de Integration Services, también debe instalar
Business Intelligence Development Studio.
 Si necesita las versiones de 32 bits de las herramientas y del motor en tiempo de ejecución de Integration
Services para ejecutar ciertos paquetes en modo de 32 bits, también debe instalar Business Intelligence
Development Studio.

2. ORACLE WAREHOUSE BUILDER:

Es una complete herramienta para todos los aspectos de administración de datos y metadatos. Esta
brinda características para asegurar la calidad de datos, que integran el modelado relacional y
multidimensional y que permiten la administración de todo el ciclo de vida de datos y metadatos
Enterprise ETL Option

La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una opción que puede
ser adquirida con Oracle Warehouse Builder como parte de la edición empresarial del motor de base
de datos (Oracle DB Enterprise Edition).

Opciones Avanzadas para Carga de Datos

En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando los recursos
debido a las grandes cantidades de datos que participan en la carga.

Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de datos usando
métodos rápidos y eficientes tales como el Oracle Data Pump y transportable tablespaces. Esta es una
aproximación completamente diferente al movimiento de datos que se realiza por medio de conjuntos
de datos controlados por el motor de base de datos. Los incrementos en velocidad de carga se deben
entonces a la omisión de las capas SQL tradicionales.

Soporte a Dimensiones Lentamente Cambiantes Integrado

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en los metadatos

de la dimensión. La dimensión captura toda la lógica que será aplicada a los datos que se insertan
dentro de la misma.
Una vez, los usuarios de negocio han decidido que atributos son importantes, el modelador de datos
diseña la dimensión. Con los pasos de ETL el desarrollador ve esta dimensión como cualquier otra. El
siguiente paso es definir cómo efectuar los cambios y actualizaciones en la dimensión. Warehouse
Builder automatiza esto basado en la definición de la dimensión. La combinación entre estos pasos, el
diseño y la estandarización hacen que los procesos relacionados con dimensiones lentamente
cambiantes presente un alto desempeño en su ejecución.
Traza Lineal de Principio a Fin

Los servicios de administración de dependencias (Warehouse Builder Dependency Management ) le

permiten prever el efecto que puedan tener los cambios que se hagan en cualquier lugar de los
metadatos del sistema ETL antes de que estos puedan afectarlo y deterióralo.

Por primera vez, tendrá la posibilidad de administrar los cambios de su sistema de manera proactiva.
Como un ejemplo (Figura 3), usted puede propagar los cambios a través de su sistema haciendo uso
el Mapping Editor.

Administración de Configuraciones Avanzadas

Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo a
producción) es un problema frecuente.
Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para configurar los
ambientes de desarrollo, pruebas y producción a niveles separados. Para mover los cambios desde el
ambiente de desarrollo a producción, el código generado en desarrollo es modificado en producción
solo en áreas específicas. Por ejemplo, la información sobre las conexiones es substituida por la
definida en desarrollo.
 VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS.

Técnica Descripción
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que dos
bases de datos sean equivalentes en el mismo tiempo.
Se logra mediante la copia de datos y metadatos de una base de datos origen a una base de
datos destino mediante una herramienta tecnológica. Los asistentes de sincronización de los
Sincronización
SMBD son configurados con las bases de datos origen y la base de datos destino,
de base de
parametrizando la ubicación de particiones y métodos de seguridad.
datos

Requerimiento Ventajas Desventajas Tiempo

s técnicos
SQL SERVER Es un sistema de gestión de Utiliza mucho la memoria RAM para 3 semanas.
INTEGRATION SQL Server base de datos. las instalaciones y utilización de
Estándar Es útil para manejar y obtener software. Semana 1:
SERVICES datos de la red de redes. No se puede utilizar como practicas Análisis de
Nos permite olvidarnos de los porque se prohíben muchas cosas, datos
ficheros que forman la base de tiene restricciones en lo particular.
datos. La relación, calidad y el precio está Semana 2:
Si trabajamos en una red muy debajo comparado con oracle. Migración y
social nos permite agregar Tiene muchos bloqueos a nivel de validación de
otros servidores de SQL página, un tamaño de página fijo y información
Server. Por ejemplo, dos demasiado pequeño, una pésima
personas que trabajan con implementación de los tipos de datos Semana 3:
SQL Server, uno de ellos se variables. Optimización
puede conectar al servidor de de proceso
su otro compañero y así se
puede ver las bases de datos
del otro compañero con SQL
Server.
SQL permite administrar
permisos a todo. También
permite que alguien conecte
su SQLO al nuestro, pero sin
embargo podemos decirle que
no puede ver esta base de
datos, pero otro sí.
ORACLE Oracle Estándar Oracle es el motor de Las versiones más recientes de 3 semanas.
WAREHOUSE base de datos objeto- Oracle son la 11g, 10g, 9g, 8g,
BUILDER relacional más usado a desde el lanzamiento original Semana 1:
nivel mundial. de la 8 se sucedieron varias Análisis de
Puede ejecutarse en versiones con correcciones, datos
todas las plataformas, hasta alcanzar la estabilidad en
desde una Pc hasta un la 8.0.3. El motivo de tantos Semana 2:
supercomputador. fallos fue, al parecer, la Migración y
Oracle soporta todas las remodelación del sistema de validación
funciones que se esperan almacenamiento por causa de de
de un servidor "serio": un la introducción de extensiones información
lenguaje de diseño de orientadas a objetos.
bases de datos muy El mayor inconveniente de Semana 3:
completo (PL/SQL) que Oracle es quizás su precio. Optimizació
permite implementar Incluso las licencias de n de
diseños "activos", con Personal Oracle son proceso
triggers y procedimientos excesivamente caras, en mi
almacenados, con una opinión. Otro problema es la
integridad referencial necesidad de ajustes. Un error
declarativa bastante frecuente consiste en pensar
potente. que basta instalar el Oracle en
Permite el uso de un servidor y enchufar
particiones para la directamente las aplicaciones
mejora de la eficiencia, clientes. Un Oracle mal
de replicación e incluso configurado puede ser
ciertas versiones admiten desesperantemente lento.
la administración de También es elevado el coste de
bases de datos la información, y sólo
distribuidas. últimamente han comenzado a
El software del servidor puede aparecer buenos libros sobre
ejecutarse en multitud de asuntos técnicos distintos de la
sistemas operativos.
Existe incluso una versión simple instalación y
personal para Windows 9x, lo administración.
cual es un punto a favor para
los desarrolladores que se
llevan trabajo a casa.
Oracle es la base de datos con
más orientación hacía
INTERNET.
 PRECIO LICENCIA SQL SERVER 2014

Ediciones
Precio de
de SQL Modelo de Disponibilidad de
Ideal para... Open NL
Server licencia canal
(USD)
2014
Enterprise Rendimiento confiable y completo Por núcleo** Licencias por volumen, $14,256***
para satisfacer los requisitos de base hosting
de datos y de Business Intelligence
más exigentes. La edición Enterprise
proporciona los niveles de servicio y
rendimiento más altos para las
cargas de trabajo de nivel 1.*
Business Una plataforma amplia que permite a Servidor + Licencias por volumen, $8,908***
Intelligence las organizaciones compilar e CAL**** hosting
implementar soluciones de BI
seguras, escalables y
administrables.
Standard Funcionalidad de Business Por núcleo** Licencias por volumen, $3,717***
Intelligence y administración de datos hosting
básica para cargas de trabajo que no
son críticas, con recursos de TI
mínimos.
Servidor + Licencias por volumen, $931***
CAL**** hosting, minorista (FPP)
Developer Versión completamente funcional de Por usuario Licencias por volumen, $38***
SQL Server que permite a los minorista (FPP)
desarrolladores compilar, probar y
demostrar aplicaciones con software
de SQL Server de una manera
rentable.