GESTION Y SEGURIDAD DE BASE DE DATOS

FICHA 1881791

EVIDENCIA AA5-EV1-VALIDACIÓN DE TÉCNICAS DE MIGRACIÓN Y

HERRAMIENTAS ETCL

PRESENTADO POR
EDWIN STIVEN BERNAL

PRESENTADO A TUTORA
ING. CANDELARIA VICTORIA SUAREZ BELEÑO

SERVIVIONACIONALDEAPRENDIZAJE“SENA”
PASTO-NARIÑO
2019
MIGRACÓN SECRETARÍA DE HACIENDA
Técnicas existentes
Existen varias técnicas relacionadas con los procesos de migración de datos, a
continuación se relacionan las más utilizadas en los procesos actuales.
SINCRONIZACIÓN DE BASE DE DATOS
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer que
dos bases de datos sean equivalentes en el mismo tiempo. Se logra mediante la copia de
datos y metadatos de una base de datos origen a una base de datos destino mediante
una herramienta tecnológica.
Los asistentes de sincronización de los SMBD son configurados con las bases de datos
origen y la base de datos destino, parame trizando la ubicación de particiones y métodos
de seguridad.
IMPORTACIÓN (EXPORTACIÓN DE ARCHIVOS) CSV O XML A TRAVÉS DE
COMANDOS DE CONSOLA O INTERFAZ GRÁFICA

Para las actividades de migración de datos es muy común utilizar archivos para el
movimiento de los datos. Se pueden utilizar diferentes tipos de archivos, pero los formatos
más usados son los archivos de texto, llamados archivos planos, que guardan la
información sin formato usando solo caracteres.

Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-8859-1
o Latin -1 y Unicode.

Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y coma
(;) o tabulaciones para delimitar los campos definiendo de esa forma columnas y filas.
también pueden tener Formato de ancho fijo para los campos, que se utiliza para
delimitar columnas y filas.

Un formato de archivo plano muy usado es el “.CSV” (comma-separated-values), en

español valores separados por comas, donde el delimitador usado es una coma. Muy
usado para movimientos de datos con hojas de cálculo.

Otro %formato útil para la migración de datos es el “XML” (extensible marckup languaje)
que utiliza un metalenguaje extensible de etiquetas las cuales sirven como estándar para
intercambio de información estructurada entre distintas plataformas.

SENTENCIA DML

Una posibilidad de los SMBD es la utilización de sentencias DML para generar scripts que
permiten realizar migraciones de bases de datos existentes.

En un script DML se pueden realizar las siguientes tareas:

 Copia de seguridad para creación de todos los usuarios, grupos, inicios de sesión
y permisos.
 Creación o actualización de código para la implementación de una base de datos.
 Creación de un entorno de pruebas.
Los procesos se orientan al uso de las sentencias DML, para realizar el paso de datos de
la base de datos de origen a la base de datos destino, a través de los entornos
administrativos de los SMBD.

PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y

CARGA)

Esta técnica se basa en el diseño y construcción de procedimientos técnicos para realizar

Extracción, Transformación, limpieza y cargue de datos (ETCL). Los procedimientos o
pasos necesarios para el desarrollo de un proyecto de migración de datos utilizando la
metodología ETCL son:

En todo proceso de migración, se ha de proceder a integrar dos o más sistemas por lo

cual pueden usarse diferentes técnicas, siendo las más comunes:

 Perfilado de datos: Permite explorar los propios datos, agregando a los de origen
las reglas necesarias. Esta técnica hace posible también el obtener resultados
acerca de duplicidades o errores en los datos.
 Limpieza de datos: Puede llevarse a cabo empleando para ello una herramienta
de Data Quality que ayude a eliminar errores, incorrecciones o duplicidades, entre
otras inconsistencias; y que, al mismo tiempo, enriquezca y homologue los datos,
preparándolos para el sistema de destino.
 Conexión a distintas fuentes de datos: Técnica que precisa de una herramienta
ad hoc que garantice el hacerlo en condiciones de simultaneidad.

Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento de la

precisión, reducción del índice de errores, mayor agilidad y optimización del tiempo; ya
que su automatización evita los procesos manuales, algo que supone su principal
beneficio.
QUE SE DEBE TENER EN CUENTA PARA LA ELECCIÓN DEL SOFTWARE DE ETL

Existen muchas herramientas de ETL diferentes, como también hay infinidad de bases de
datos, sistemas y organizaciones distintas. En el momento de seleccionar la que liderará
la migración e integración de datos pueden tomarse en consideración las
recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha de
presentar:

 Adaptabilidad a distintos sistemas operativos y plataformas hardware.

 Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
 Habilidades para monitorizar, gestionar y controlar los procesos de integración de
datos: en lo relativo a gestión de errores, recolección de estadísticas de ejecución,
controles de seguridad, etc.
 Capacidades SOA.
 Capacidades de diseño y entorno de desarrollo: como soporte para test,
representaciones gráficas, modelos y flujos de datos etc.
 Cualidades de arquitectura e integración referidas al grado de interoperabilidad,
compactación y consistencia de los diferentes componentes que la formen.

Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso del

proyecto es decisiva. Una decisión correcta pasa por la automatización y en base a ella
quedan garantizados:

 Un aumento en la velocidad de desarrollo del proyecto.

 La descentralización del control de la ejecución y de todos los procesos.
 Una mayor agilidad en el negocio.
 Mayor precisión
 Minimización de errores
Herramientas ETL

APLICACIÓN DE USO LIBRE

BENETL Es una herramienta ETL de uso libre, desarrollada entre los años 2007-2014
hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o MYSQL

Esta herramienta se creó para facilitar el trabajo con archivos TXT, CVS o archivos de
fuente de datos XML. Para recuperar los datos que tendrán que definir un dato de tiempo
y una entidad, que está representado por datos a calcular o para mostrar. Todos los
objetos útiles serán creados por Benetl dentro de una base de datos MYSQL o
PostgreSQL. La aplicación también es capaz de recuperar automáticamente los datos
mediante el uso de diversas tareas planificadas de su sistema
Mediante el uso de Benetl podrá recuperar fácilmente la información de los archivos de
datos planos, la organización y el filtrado de acuerdo con su dato de tiempo y entidad.

Características Benetl

 Tecnologías
o Java 7 update 80
o Postgresql 9.5.0 con el apoyo (plpgsql)
o MySQL con función de OLD_PASSWORD de inicio de sesión de usuario
(para controlador suministrado)
o Con Windows (se utiliza “tareas programadas”)
o Benetl 4.9.1 funciona con Linux
 Requerimientos técnicos
o Ejecución de java (JRE) 1.7
o Base de datos postgreSQL 9.5 o superior con soporte plpqsql
o Base de datos MySQL 5.6 con OLD_PASSWORD la función de inicio de
sesión de usuario o el controlador oficial de MySQL (no incluido)
o Probado en sistemas de 64 bits

APLICACIÓN SMBD SELECCIONADO

1. SQL SERVER INTEGRATION SERVICES:

Microsoft integration services es una plataforma para la creación de soluciones

empresariales de transformaciones de datos e integración de datos. Integration services
sirve para resolver complejos problemas empresariales mediante la copia o descarga de
archivos, el envió de mensajes de correo electrónico como respuesta a eventos, la
actualización de almacenamiento de datos, la limpieza y minería de datos, y la
administración de objetos y datos de SQL Server. Los paquetes pueden funcionar en
solitario o junto con otros paquetes para hacer frente a las complejas necesidades de la
empresa. Integration services puede extraer y transformar datos de diferentes orígenes
como archivos de datos XML, archivos planos y orígenes de datos relacionales y después,
cargar los datos en uno o más destinos

Integration services contiene un variado conjunto de tareas y transformaciones para la

creación de paquetes y el servicio Integration services para ejecutar y administrar los
paquetes. Las herramientas graficas de Integration Services se pueden utilizar para crear
soluciones sin escribir una sola línea de código. También se puede programar el amplio
modelo de objetos de Integration services para crear paquetes mediante programación y
codificar tareas personalizadas y otros objetos de paquete

El SSIS Import/Export Wizard permite mover datos de origen a destino sin modificar los
datos de origen permitiendo hacer interacciones y cambios de información antes de llegar
al destino dentro de las tablas ETL. Se pueden importar datos de fuentes diferentes a
SQL Server.

Con la herramienta Business Intelligence Development Studio, se pueden realizar tareas

de migración fácilmente usando tareas visuales, si desea crear una nueva funcionalidad,
se pueden crear scripts en C# o VB.

Los paquetes, que son las unidades de almacenamiento de estas tareas de migración se
pueden guardar en archivos dtsx o en la base de datos en formato XML.

Una vez implementado el paquete puede ser depurado.

Características SSIS

 Última versión: SQL Server 2017 Integration Services

 Requerimientos técnicos:
o Instalar en un equipo de 64 bits
o Instalar en un servidor dedicado para ETL
o Si requiere las características en tiempo de diseño de integration services,
también debe instalar Busisness Intelligence Development Studio.
o Si necesita las versiones de 32 bits de las herramientas y del motor en
tiempo de ejecución de Integration Services para ejecutar ciertos paquetes
en modo de 32 bits, también debe instalar Business Intelligence
Development Studio.

2. ORACLE WAREHOUSE BUILDER

Es una completa herramienta para todos los aspectos de administración de datos y

metadatos. Esta brinda características para asegurar la calidad de datos, que integran el
modelado relacional y multidimensional y que permiten la administración de todo el ciclo
de vida de datos y metadatos.

Enterprise ETL Option

La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder es una
opción que puede ser adquirida con Oracle Warehouse Builder como parte de la edición
empresarial del motor de base de datos (Oracle DB Enterprise Edition).
OPCIONES AVANZADAS PARA CARGA DE DATOS

En grandes implementaciones, más y más procesos se ejecutan en paralelo, agotando

los recursos debido a las grandes cantidades de datos que participan en la carga.

Como parte de la Enterprise ETL Option, Warehouse Builder permite ejecutar cargas de
datos usando métodos rápidos y eficientes tales como el Oracle Data Pump y
transportable tablespaces. Esta es una aproximación completamente diferente al
movimiento de datos que se realiza por medio de conjuntos de datos controlados por el
motor de base de datos. Los incrementos en velocidad de carga se deben entonces a la
omisión de las capas SQL tradicionales.

SOPORTE A DIMENSIONES LENTAMENTE CAMBIANTES INTEGRADO

En Warehouse Builder la lógica de dimensiones lentamente cambiantes es diseñada en

los metadatos de la dimensión. La dimensión captura toda la lógica que será aplicada a
los datos que se insertan dentro de la misma.

Una vez, los usuarios de negocio han decidido que atributos son importantes, el
modelador de datos diseña la dimensión. Con los pasos de ETL el desarrollador ve esta
dimensión como cualquier otra. El siguiente paso es definir cómo ejecutar los cambios y
actualizaciones en la dimensión. Warehouse Builder automatiza esto basado en la
definición de la dimensión. !a combinación entre estos pasos, el diseño y la
estandarización hacen que los procesos relacionados con dimensiones lentamente
cambiantes presente un alto desempeño en su ejecución.
TRAZA LINEAL DE INICIO A FIN
Los servicios de administración de dependencias (Warehouse Builder Dependency
Management) le permiten prever el efecto que puedan tener los cambios que se hagan
en cualquier lugar de los metadatos del sistema ETL antes de que estos puedan afectarlo
y deterióralo.
 ADMINISTRACION DE CONFIGURACIONES AVANZADAS
Tener que mover sistemas o aplicaciones de un ambiente a otro (por ejemplo de desarrollo
a producción) es un problema frecuente.

Con la Enterprise ETL Option de Warehouse Builder, es posible generar un modelo para
configurar los ambientes de desarrollo, pruebas y producción a niveles separados. Para
mover los cambios desde el ambiente de desarrollo a producción, el código generado en
desarrollo es modificado en producción solo en áreas específicas. Por ejemplo, la
información sobre las conexiones es substituida por la definida en desarrollo.

VENTAJAS, DESVENTAJAS, TIEMPOS Y COSTO DE LAS HERRAMIENTAS

Técnica Descripción
Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer
que dos bases de datos sean equivalentes en el mismo tiempo. Se logra mediante la
copia de datos y metadatos de una base de datos origen a una base de datos destino
Sincronizació
mediante una herramienta tecnológica. !os asistentes de sincronización de los SMBD
n de base de
son configurados con las bases de datos origen y la base de datos destino, parame
datos
trizando la ubicación de particiones y métodos de seguridad.
Requerimiento Ventajas Desventajas Tiempo
s técnicos
Es un sistema de gestión Utiliza mucho la 3 semanas
de base de datos memoria RAM para las
instalaciones y
utilización de software
Nos permite olvidarnos Lo se puede utilizar Semana 1:
de los ficheros que como practicas porque Análisis de
forman la base de datos se prohíben muchas datos
cosas, tiene
restricciones en lo
particular
Si trabajamos en una red La relación, calidad y el Semana 2:
social nos permite precio está muy debajo Migración y
SQL Server agregar otros servidores comparado con validación de
SQL Server
Integration de SQL Server, por Oracle. información
Estándar
Services ejemplo que dos
personas pueden trabajar
al mismo tiempo en dos
servidores de SQL
SQL permite Tiene muchos Semana 3:
administrar permisos a bloqueos a nivel de Optimización
todo. También permite página, un tamaño de de proceso
que alguien conecte su página fijo y
SQL al nuestro, pero sin demasiado pequeño,
embargo podemos una pésima
decirle que no puede ver implementación de los
esta base de datos, pero tipos de datos
otro si variables.
 Requerimiento Ventajas Desventajas Tiempo
s técnicos
Oracle es el motor de Las versiones más 3 semanas
base de datos objeto- recientes de Oracle son la
relacional más usado a 11g, 10g, 9g, 8g, desde el
nivel mundial. lanzamiento original de
la 8 se sucedieron varias
versiones con
correcciones, hasta
alcanzar la estabilidad en
la 8.0.3. El motivo de
tantos fallos que, al
parecer, la remodelación
del sistema de
almacenamiento por
causa de la introducción
de extensiones
orientadas a ob6etos
Puede ejecutarse en El mayor inconveniente Semana 1:
todas las plataformas, de Oracle es quizás su Análisis de
desde una Pc hasta un precio. Incluso las datos
supercomputador. licencias de Personal
Oracle son
excesivamente caras,
en mi opinión. Otro
ORACLE
problema es la
WAREHOUSE
BUILDER
necesidad de ajustes.
Oracle estándar
Un error frecuente
consiste en pensar que
basta instalar el Oracle
en un servidor y
enchufar directamente
las aplicaciones
clientes. un Oracle mal
configurado puede ser
desesperantemente
lento
Permite el uso de También es elevado el Semana 2:
particiones para la coste de la Migración y
mejora de la eficiencia, información, y sólo validación de
de replicación e incluso últimamente han información
ciertas versiones admiten comenzado a aparecer
la administración de buenos libros sobre
bases de datos asuntos técnicos
distribuidas. distintos de la simple
instalación y
administración.
El software del Semana 3:
servidor puede Optimización
ejecutarse en multitud de de proceso
sistemas operativos.
Existe incluso una
versión personal para
 Windows 9x, lo cual es un
punto a favor para los
desarrolladores que se
llevan trabajo a casa.
Oracle es la base de
datos con más
orientación hacía
INTERNET

Precios de licencia SQL Server 2017

Ediciones Ideal para Modelos Disponibilidad Precios

SQL de de canal de Open
Server licencia NL (USD)
Enterprise Rendimiento confiable y completo para Por Licencias por 14.256
satisfacer los requisitos de base de datos y de núcleo volumen, USD
Business Intelligence más exigentes. hosting
Proporciona los niveles de servicio y el
rendimiento más altos para las cargas de
trabajo de nivel 1
Standard: Funcionalidad de Business Intelligence y Por Licencias por 3.717 USD
por administración de datos básica para cargas núcleo volumen,
volumen hosting
de trabajo que no son críticas, con recursos
de TI mínimos.
Standard - Funcionalidad de Business Intelligence y Servidor Licencias por 931 USD
servidor + administración de datos básica para cargas + CAL volumen,
CAL de trabajo que no son críticas, con recursos hosting,
de TI mínimos. minorista (FPP)
Developer Versión completamente funcional de SQL Por Descarga Gratis
Server que permite a los desarrolladores usuario gratuita
crear, probar y demostrar aplicaciones con
software de SQL Server de una manera
rentable.
Web Plataforma de datos segura, rentable y No Solo hosting Consulta
altamente escalable para sitios web aplicable los precios
con tu
públicos. Disponible solo para proveedores partner de
de servicios de software de terceros. hosting
Express Base de datos básicos gratuitos, ideales para No Descarga Gratis
aprender y para crear aplicaciones de aplicable gratuita
escritorio y pequeñas aplicaciones de
servidor controladas por datos de hasta
10 GB.

Precio licencias Oracle

https://www.oracle.com/assets/business-intelligence-price-list-071347.pdf
BIBLIOGRAFIA

https://www.microsoft.com/es-es/sql-server/sql-server-2017-pricing
https://blog.powerdata.es/el-valor-de-la-gestion-de-datos/bid/353132/ETL-t-cnicas-de-migraci-
n-y-tipos-de-software