SERVICIO NACIONAL DE APRENDIZAJE

GESTION DE SEGURIDAD DE BASE DE DATOS

Fase 3 – Ejecución

Presentado por:
ROBERTO JOSE SERRANO PEREZ
Código: 1114451738

Presentado a
Tutor: HUGO ANDRES TRUJILLO MONTEALEGRE

Servicio Nacional de Aprendizaje - Sena (Gestión de Seguridad de Base de datos)

CENTRO DE SERVICIO FINANCIERO
AGOSTO 2019
INTRODUCCIÓN

Por medio de este documento, se pretende dar alcance a las competencias

adquiridas en el desarrollo de las actividades de la Fase 3 – Ejecucion, buscando
dar una solución tecnológica a la alcaldía San Antonio, con el fin de mejorar los
recursos y aumentar la optimización de las herramientas tecnológicas.

La actualización tecnológica es una de las preocupaciones constantes en cualquier

entorno de producción, sin embargo, se debe asegurar que las aplicaciones, la
información y los equipos existentes sean compatibles con las nuevas tecnologías
adquiridas. Lo anterior nos conduce a identificar la importancia que tiene conocer e
interpretar adecuadamente la estructura que deben poseer nuestros datos, los
servicios que soportan y los requerimientos de la organización.

La planeación detallada de un servicio de migración de datos permitirá minimizar

los riesgos de pérdida de información, las amenazas sobre la integridad de los datos
y la disminución del ritmo habitual de productividad, también teniendo en cuenta
procesos de negocios, limpieza de datos, fuentes de información, equipos de
trabajo, herramientas a utilizar, entre otros.

Por esa razón en este trabajo se pretende realizar una comparación entre las
distintas técnicas de migración y algunas aplicaciones útiles para la migración de
datos.

OBJETIVOS

Caracteriza las diferentes técnicas de migración de datos, teniendo en cuenta todos

los aspectos a evaluar.

Reconoce algunas aplicaciones para migración de datos disponibles en el mercado,

así como sus principales características.
DESARROLLO

AA5-Ev1-Validación de técnicas de migración y herramientas ETCL

TÉCNICAS EXISTENTES

Existen varias técnicas relacionadas con los procesos de migración de datos, a

continuación, se relacionan las más utilizadas en los procesos actuales.

SINCRONIZACIÓN DE BASE DE DATOS

Es una técnica muy utilizada en procesos de migración de datos, consiste en hacer

que dos bases de datos sean equivalentes en el mismo tiempo.

Se logra mediante la copia de datos y metadatos de una base de datos origen a una
base de datos destino mediante una herramienta tecnológica. Los asistentes de
sincronización de los SMBD son configurados con las bases de datos origen y la
base de datos destino, parametrizando la ubicación de particiones y métodos de
seguridad.

IMPORTACIÓN/EXPORTACIÓN DE ARCHIVOS (CSV) O XML A TRAVÉS DE

COMANDOS DE CONSOLA O INTERFAZ GRÁFICA

Para las actividades de migración de datos es muy común utilizar archivos para el
movimiento de los datos. Se pueden utilizar diferentes tipos de archivos, pero los
formatos más usados son los archivos de texto, llamados archivos planos, que
guardan la información sin formato usando solo caracteres.

Los sistemas de codificación más comunes para estos archivos son: ASCII, ISO-
8859-1 o latín-1 y Unicode.

Los archivos de texto pueden tener formato delimitado utilizando coma (,), punto y
coma (;) o tabulaciones para delimitar los campos definiendo de esa forma columnas
y filas. También pueden tener formato de ancho fijo para los campos, que se utiliza
para delimitar columnas y filas.

Un formato de archivo plano muy usado es el “.CSV” (Comma-Separated-Values,

en español valores Separados por Coma), donde el delimitador usado es una coma.
Muy usado para movimientos de datos con hojas de cálculo.

Otro formato útil para la migración de datos es el “.XML” (eXtensible Marckup

Language), que utiliza un metalenguaje extensible de etiquetas las cuales sirven
como estándar para intercambio de información estructurada entre distintas
plataformas.
SENTENCIAS DML

Una posibilidad de los SMBD es la utilización de sentencias DML para generar

scripts SQL que permiten realizar migraciones de bases de datos existentes.

En un script SQL se pueden realizar las siguientes tareas:

• Copia de seguridad para creación de todos los usuarios, grupos, inicios de

sesión y permisos.
• Creación o actualización de código para la implementación de una base de
datos.
• Creación de un entorno de pruebas.

Los procesos se orientan al uso de las sentencias DML, para realizar el paso de
datos de la base de datos de origen a la base de datos destino, a través de los
entornos administrativos de los SMBD.

PROCEDIMIENTOS ETCL (EXTRACCIÓN, TRANSFORMACIÓN, LIMPIEZA Y

CARGA)

Esta técnica se basa en el diseño y construcción de procedimientos técnicos para

realizar Extracción, Transformación, Limpieza y Cargue de Datos (ETCL). Los
procedimientos o pasos necesarios para el desarrollo de un proyecto de migración
de datos utilizando la metodología ETCL son:

En todo proceso de migración, se ha de integrar dos o más sistemas por lo cual

pueden usarse diferentes técnicas, siendo las más comunes:

• Perfilado de datos: Permite explorar los propios datos, agregando a los de

origen las reglas necesarias. Esta técnica hace posible también el obtener
resultados acerca de duplicidades o errores en los datos.
• Limpieza de datos: Puede llevarse a cabo empleando para ello una
herramienta de Data Quality que ayude a eliminar errores, incorrecciones o
 duplicidades, entre otras inconsistencias; y que, al mismo tiempo, enriquezca
y homologue los datos, preparándolos para el sistema de destino.

• Conexión a distintas fuentes de datos: Técnica que precisa de una

herramienta ad hoc que garantice el hacerlo en condiciones de
simultaneidad.

Las ventajas que proporciona el usar estas tecnologías se traducen en un aumento

de la precisión, reducción del índice de errores, mayor agilidad y optimización del
tiempo; ya que su automatización evita los procesos manuales, algo que supone su
principal beneficio.

1. Cuadro comparativo

SINCRONIZACION CVS O XML DML ETCL

Ventajas Nos permite Separa datos de Permite Es la forma
los ficheros presentación. realizar más
que forman Simplifica la forma copias de eficiente y
la base de de compartir e seguridad, sobre todo
datos. intercambiar datos. generando proporciona
La información se pruebas y l para
almacena en texto creación o realizar la
plano: software y actualización migración
hardware de datos. de los
independientement datos.
e.
Simplifica el
transporte de la
información,
Simplifica los
cambios de
plataforma
Hace los datos
disponibles más
fácil El formato CSV
no requiere de un
set de caracteres
concretos, por lo
que tiene una gran
interoperabilidad en
diferentes
aplicaciones.
Desventajas Utiliza Codificación Lentitud para El proceso
mucho de diferente las escrituras. de limpieza
los recursos dependiendo de la Los índices
de la afectan el
 maquina o herramienta ETCL a rendimiento es muy
servidor utilizar. de algunos dispendios
que se va a comandos. o
utilizar.
Facilidad para Copia Facilidad para También es El proceso
limpieza y estructurad realizar la un lenguaje es fácil,
transformació a de la extracción de los proporcionad pero
n de datos información datos. o por los necesita de
tal cual se sistemas un alto
encuentra gestores de grado de
en la base bases de complejida
de datos. datos, muy d al
fácil de momento
utilizar. de realizar
la limpieza.

2. Herramientas ETCL

ETL son las siglas en inglés de Extraer, Transformar y Cargar (Extract, Transform
and Load). Es el proceso que permite a las organizaciones mover datos desde
múltiples fuentes, reformatearlos y limpiarlos, y cargarlos en otra base de datos,
data mart, o data warehouse para analizar, o en otro sistema operacional para
apoyar un proceso de negocio.

Existen muchas herramientas de ETCL diferentes, como también hay infinidad de

bases de datos, sistemas y organizaciones distintas. En el momento de seleccionar
la que liderará la migración e integración de datos pueden tomarse en consideración
las recomendaciones de Gartner en cuanto a las cualidades que la herramienta ha
de presentar

• Adaptabilidad a distintos sistemas operativos y plataformas hardware.

• Capacidades de gestión de datos: en cuanto a minería, perfilado y calidad.
• Habilidades para monitorizar, gestionar y controlar los procesos de
integración de datos: en lo relativo a gestión de errores, recolección de
estadísticas de ejecución, controles de seguridad, etc.
• Capacidades SOA.
• Capacidades de diseño y entorno de desarrollo: como soporte para test,
• representaciones gráficas, modelos y flujos de datos y flujos de datos, etc.
• Cualidades de arquitectura e integración referidas al grado de
interoperabilidad,
• compactación y consistencia de los diferentes componentes que la formen.

Aunque la elección de un software de ETL no es sencilla, su repercusión en el curso

del proyecto es decisiva. Una decisión correcta pasa por la automatización y en
base a ella quedan garantizados:
 • Un aumento en la velocidad de desarrollo del proyecto.
• La descentralización del control de la ejecución y de todos los procesos.
• Una mayor agilidad en el negocio.
• Mayor precisión.
• Minimización de errores.

Aplicaciones

Los procesos Extracción, transformación y carga de datos (ETL) son una parte de
la integración de datos, pero es un elemento importante cuya función completa el
resultado de todo el desarrollo de la cohesión de aplicaciones y sistemas.
APLICACIÓN DE USO LIBRE

PENTAHO

La solución proporcionada por la plataforma Business Intelligence OpenSource

Pentaho e integrada en su suite para el desarrollo de informes se llama Pentaho
Reporting
Pentaho Data Integration

Los datos que alimentan a un sistema data warehouse (DW) proviene de diferentes
fuentes, estas fuentes son los distintos sistemas operacionales que la empresa
posee, generalmente ni son homogéneos entre sí ni concuerdan exactamente con
lo que se necesita, por lo que será necesario realizar todas las adaptaciones
pertinentes.

También muchas organizaciones tienen información disponible en aplicaciones y

base de datos separadas.

Pentaho Data Integration abre, limpia e integra esta valiosa información y la pone
en manos del usuario. Provee una consistencia, una sola versión de todos los
recursos de información, que es uno de los más grandes desafíos para las
organizaciones TI hoy en día.

Pentaho Data Integration permite una poderosa ETL (Extract, Transform, Load)
Extracción, Transformación y Carga.

El uso de la solución Kettle permite evitar grandes cargas de trabajo manual

frecuentemente difícil de mantener y de desplegar.

Características Generales de esta herramienta Open Source incluye las siguientes

características:

• Diversas fuentes de datos (ASCII, JDBC).

• Interfaz visual basada en procesos / flujos de datos (rutas).

• Distintas herramientas de minería de datos:

• Reglas de asociación (a priori, Tertius, etc.).

• Agrupación / segmentación / conglomerado (cobweb, EM y k-medias).

• Clasificación (redes neuronales, reglas y árboles de decisión, aprendizaje

bayesiano).

• Regresión (regresión lineal, SVM, etc.).

• Manipulación de datos (pick & mix, muestreo, combinación, separación, etc.).

• Combinación de modelos (bagging, boosting, etc.).

• Entorno de experimentos, con la posibilidad de realizar pruebas estadísticas

(T-test).
BENTL

Es una herramienta ETL de uso libre, desarrollada entre los años 200 7– 2014,
hecha en java y trabaja con base a lenguajes de base de datos PostgreSQL o
MySQL.

Esta herramienta se creó para facilitar el trabajo con archivos TXT, CSV o archivos
de fuente de datos XML. Para recuperar los datos que tendrán que definir un dato
de tiempo y una entidad, que está representado por datos a calcular o para mostrar.
Todos los objetos útiles serán creados por Benetl dentro de una base de datos
MySQL o PostgreSQL.

La aplicación también es capaz de recuperar automáticamente los datos mediante

el uso de diversas tareas planificadas de su sistema. Mediante el uso de Benetl
podrá se ha podido recuperar fácilmente la información de los archivos de datos
planos, la organización y el filtrado de acuerdo con su dato de
tiempo y entidad.

Características Benetl:
 • Java 7 update 80
• PostgreSQL 9.5.0
• MySQL 5.6 con función de OLD_PASSWORD de inicio de sesión de usuario
(para controlador suministrado)
• Con Windows (se utiliza "tareas programadas")
• Benetl 4.7 funciona en Linux.

Requerimientos Técnicos:

• Ejecución de Java (JRE) 1.7

• Base de datos PostgreSQL 9.5
• Base de datos de MySQL 5.6 con OLD_PASSWORD la función de inicio de
sesión de usuario o el controlador oficial de MySQL (no incluido)
• Probado en sistemas de 64 bits.

Ejemplo: Nombre EtlTool… Definir Nombre, Este nombre es también el nombre de

la tabla de PostgreSQL o tabla de MySQL donde se almacenan las líneas de datos.

Un archivo llamado "EtlTool.bat" se creará en la carpeta de srcen de datos.

APLICACIÓN DE USO LICENCIADO (Herramientas Seleccionadas para los dos

motores con los cuales se están desarrollando las actividades en conjunto).

QLIK SENSE
Qlik Sense ayuda a descubrir conocimientos que las herramientas de BI basadas
en consultas pasan por alto. Nuestro exclusivo motor asociativo reúne todos sus
datos para que los usuarios puedan explorarlos libremente y descubrir nuevas
conexiones. La IA y las capacidades cognitivas ofrecen sugerencias de
conocimientos, automatización e interacción conversacional, lo cual se traduce en
descubrimientos más importantes y en un aumento de la alfabetización de datos.
Una plataforma multicloud gobernada puede implementarse de muchas formas
distintas (por ejemplo, como SaaS) y es compatible con todos los casos prácticos
de BI.

Una experiencia analítica increíble que les encantará a todos

Análisis interactivo, sin límites

Haga una pregunta y explore rápidamente todos sus datos con la búsqueda global
y las selecciones interactivas para obtener una respuesta. Todas las analíticas se
actualizan inmediatamente con cada clic, revelando así valores relacionados y no
relacionados para que decida si ampliar el análisis o avanzar en nuevas direcciones.
En la exploración no hay límites ni ángulos muertos.

Simplemente una analítica más inteligente

Las visualizaciones innovadoras sitúan los datos en el contexto adecuado para
responder a cualquier pregunta. Explore la forma de los datos e identifique valores
atípicos. Aproveche los mapas multicapa y los potentes cálculos geográficos.
Profundice en los cálculos de analítica avanzada de R y Python con tan solo unos
cuantos clics. Llegue más lejos con la analítica conversacional y sugerencias de
conocimientos generados por IA.

Cree y explore en cualquier dispositivo

Explore, cree y colabore en cualquier dispositivo, esté donde esté. Cree analíticas
más rápidamente con las recomendaciones de la IA sobre relaciones de datos y
tipos de gráficos. Qlik Sense se ha creado pensando en la movilidad, con un diseño
sensible e interacción táctil, para que las apps de analítica que se desarrollen
funcionen en cualquier plataforma. Consiga análisis sin conexión y totalmente
interactivos en iOS y reciba asistencia para las principales plataformas de Gestión
de Movilidad Empresarial (EMM).

Una manera más rápida de hacer análisis

Los métodos tradicionales de crear y gestionar data warehouse se están quedando
atrás con respecto a las exigencias de negocio. El trabajo de desarrollo ETL para
configurar un data warehouse puede tardar varios meses, es fácil que se produzcan
errores y supone un 60-80% del tiempo de preparación. Todo esto significa que el
modelo de datos está desactualizado antes de que el proyecto de BI haya
comenzado. La modificación de estos data warehouse tan frágiles genera más
retrasos, bloquea recursos valiosos y ralentiza la rentabilidad del proyecto.

Para llegar antes a la analítica, es necesario simplificar el ciclo de creación y gestión

de data warehouse.

Una estrategia moderna para el data warehousing

Attunity Compose for Data Warehouses utiliza un método moderno para automatizar
y optimizar la creación y el funcionamiento de data warehouse. Attunity Compose
diseña el warehouse automáticamente, genera el código ETL y aplica con rapidez
las actualizaciones; todo ello empleando las mejores prácticas y patrones de diseño
contrastados. Attunity Compose for Data Warehouse reduce drásticamente el
tiempo, los costes y los riesgos de los proyectos de BI, ya sea de forma local o en
la nube.

Requisitos del sistema

Para instalar y ejecutar correctamente Qlik Sense Desktop, deberán cumplirse los
requisitos enumerados en esta sección.

Sistema operativo
Microsoft Windows 7 (solo versión de 64 bits)
Microsoft Windows 8.1 (solo versión de 64 bits)
Microsoft Windows 10 (solo versión de 64 bits)
Procesador
Intel Core 2 Duo o superior recomendado.
Memoria
4 GB mínimo (dependiendo del volumen de datos podría requerirse más).

Espacio en disco
5.0 GB es el total requerido para instalar.
.NET Framework
4.5.2 o superior.
Resolución de pantalla mínima
Equipos de sobremesa, portátiles y tabletas: 1024x768.
Pequeñas pantallas: 320x568

HERRAMIENTA SELECCIONADA: ORACLE 11G

Herramienta Oracle Database 11g: Oracle Warehouse Builder Enterprise etl Option

Características:

• La opción empresarial ETL (Enterprise ETL Option) para Warehouse Builder

es una opción que puede ser adquirida con Oracle Warehouse Builder como
parte de la edición empresarial del motor de base de datos.
• Permite ejecutar cargas de datos usando métodos rápidos y eficientes tales
como el Oracle Data Pump y transportable tablespaces.
• Permite prever el efecto que puedan tener los cambios que se hagan en
cualquier lugar de los metadatos del sistema ETL Es posible generar un
modelo para configurar los ambientes de desarrollo, pruebas y producción a
niveles separados.

Oracle Warehouse Builder 11g Release 1 es una completa herramienta para todos
los aspectos de administración de datos y metadatos. Esta brinda características
para asegurar la calidad de datos, que integran el modelado relacional y
multidimensional y que permiten la administración de todo el ciclo de vida de datos
y metadatos2.
Una de las características más interesantes del nuevo rendimiento de Oracle
Database 11g son vistas materializadas basadas en OLAP. Los métodos
convencionales para el ajuste del desempeño para esquemas de estrella dentro de
los almacenes de datos han implicado durante mucho tiempo el uso de tablas de
resumen (o vistas materializadas). Con este enfoque, el rendimiento de las
consultas se ve mejorado al calcular previamente uno o más resúmenes y al
almacenar esos resúmenes en el almacén de datos.

El tamaño de los almacenes de datos más grandes está creciendo

exponencialmente. En la actualidad, cada vez más procesos de negocios se vuelven
completamente automatizados y se recopilan más datos con mayores niveles de
detalle, de manera que estos aumentos en el volumen de datos no muestren signos
de reducción. Oracle Database 11g ofrece cuatro capacidades clave para permitir
la escalabilidad: Particionamiento, compresión, agrupamiento en clúster y
paralelismo.
 CONCLUSIÓN

Frente a la herramienta de utilización para la migración de datos, hoy en día

encontramos para diferentes necesidades, están como las que te extraen,
transforman y cargan o como las que hacen eso y hasta suben la información
extraído con datos estadísticos.

Cada herramienta como se mencionó establece un ámbito especifico en sus

ventajas y desventajas para cada SMBD, están como las que son para motores
menos robustos como para los motores más robustos.

Dentro de la información extraída podemos deducir que se puede convertir en datos

totalmente claros y transparentes para ser bien tratados y realizar una perfecta
migración de la información si sufrir pérdidas.
 BIBLIOGRAFÍA

Referencias bibliográficas requeridas

Herramientas ETCL.

https://churriwifi.wordpress.com/2009/12/29/11-herramientas-etl-%C2%BFque-
son-para-que-valen-productos-mas-conocidos-etl%C2%B4s-open-source/

Técnicas de migración de base de datos.

https://senaintro.blackboard.com/bbcswebdav/pid-113668023-dt-content-rid-
127068119_4/institution/semillas/217219_1_VIRTUAL/OAAPs/OAAP4/aa5/oa_mig
rancdatos/index.html

Herramientas consultadas

Qlik Sense

https://www.qlik.com/es-es/products/qlik-sense

Oracle Warehouse Builder

https://www.oracle.com/technetwork/developer-
tools/warehouse/overview/introduction/index.html

Kettle (ahora llamado Pentaho Data Integration).

https://community.hitachivantara.com/docs/DOC-1009855

BENTL

https://www.benetl.net/