00 Presentación PDF

Capítulo 3: Diseño de un Datamart
Capítulo 4: Poblando un Datamart
Capítulo 5: Modelos de datos multidimensionales
Poblando un Datamart
Business Intelligence SQL Server 2016
6-1 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Objetivos
Al finalizar el capítulo, el alumno podrá:

• Utilizar SSIS para poblar el Datamart.

Agenda
• Etapas de un proceso ETL

• Opciones para implementar procesos ETL
• Introducción a SQL Server Integration Services
• Implementación de ETL a través de SQL Server Integration
Services:

Etapas de un proceso ETL
• Los procesos que pueblan el Datamart extraen,

transforman y cargan los datos en el Datamart. Por esto se
les llama procesos ETL (Extraction, Transformation,
Loading).

• Extracción y carga - Mapeos de datos

– Indican dónde se encuentran en el esquema lógico fuente, los
elementos del esquema lógico conceptual.
– Permiten asociar cada elemento.
Modelo
Modelo dimensional
dimensional
(Normalizado)
(desnormalizado)

• Transformación
Fuente datos Modelo multidimensional

Opciones para implementar procesos ETL
• SQL Server 2016 ofrece múltiples opciones para la

implementación de los procesos ETL:
– Transact – SQL
– Consultas Distribuidas
– El utilitario BCP y la sentencia Bulk Insert
– SQL Server Integration Services (SSIS)

• Transact – SQL • Consultas distribuidas

• El utilitario BCP y la sentencia Bulk Insert.

• SQL Server Integration Services (SSIS)
Extracción
(datos origen)
Transformación
Carga
6 - 10 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Introducción a SQL Server Integration Services
SQL Server Integration Services proporciona un mecanismo para obtener información

de múltiples fuentes, y efectuar transformaciones de alta complejidad.
• Los elementos de SQL Server Integration Services:

o Administradores de datos (Connection Managers)
o Tareas (Tasks)
 Flujo de control (Control Flow)
 Flujo de datos (Data Flows)
o Paquetes (Packages)
o Contenedores (Containers)

Introducción a SQL Server Integration Services
• Arquitectura SQL Server Integration Services:

Implementación de ETL a través de SQL Server
Integration Services
• El asistente de importación y • Data Conversions

exportación • Package Configurations
• SQL Server Data Tools • Derived Column
(SSDT) y el diseñador de • Fuzzy Lookup
paquetes
• Aggregate y Sort
• Paquetes: conexiones y
transformación • Merge Join
• Precedencias • Condition Split
• Script Component • Distribución del proyecto SIS
• Containers • Programar la ejecución de un
paquete SSIS
• Variables
• Data Profiling Task
• Lookups

• El asistente de importación y exportación
– Ingrese al SQL Server Managment Studio, ubíquese en la
carpeta Databases, AdventureWorksDW2016, Task, Export
Data.
Destino
Origen

Ejercicio Nº 4.1: Utilizar Integration Services 2016
para poblar un Datawarehouse
Realiza la importación y exportación usando el asistente.
Al finalizar el laboratorio, el alumno logrará:
• Utilizar la herramienta de importación y exportación de

datos.

• SQL Server Data Tools (SSDT) y el diseñador de paquetes.
Solution
Explorer
Package
Tool Box
Designer
Properties
Window
Connection
Manager

• Paquetes: conexiones y transformación
Tipos de Transformaciones
Data Flow Sources
Data Flow Destinatio
Connection Manager

Ejercicio Nº 4.2: Asistente de importación y
exportación
Crea conexiones y transformaciones en un proyecto de SQL
Server Integration Services.
• Crear conexiones de origen y destino para la transferencia

de datos.

• Precedencias
– Definen vínculos entre contenedores y tareas, y evalúan condiciones que
determinan la secuencia y orden en la que deben ser procesados
– Las condiciones que controlan cuando las transiciones ocurrirán son
evaluadas mediante propiedades de restricción y puede incluir:
 La salida de una ejecución del ejecutable anterior (Sucess, Failure, Completition).
 El resultado de una expresión.
 El resultado de restricciones anteriormente evaluadas.

Ejercicio Nº 4.3: Precedencias
Define precedencias en un proyecto de SQL Server Integration

Services.
• Conocer e implementar precedencias entre los flujos de

tareas y datos.

• Script Component (Componente Script)
– Permite definir transformaciones personalizadas a través de código Visual
Basic .Net o C#.
– Existen tres tipos de componentes de script:
 Source Components
 Destination Components
 Transformation Components

Ejercicio Nº 4.4: Script Component
Escribe una transformación personalizada a través del Script

Component.
• Implementar componentes avanzados, escritos a través de

.Net: el Script Component.

• Containers (Contenedores)
– Sirven para agrupar todos los componentes de un paquete.
– Su principal función es definir el alcance, secuencia de ejecución e
interacción de los componentes de un paquete.
– Tipos de contenedores:
 Sequence Container
 For Each Loop
 For Loop

– Sequence Container (contenedor de secuencias)
 Agrupa tareas relacionadas entre sí
 Se ejecutan las tareas en paralelo cuando no se contempla precedencia
entre ellas.
 Sirve para:
 Permite deshabilitar grupos de tareas
 Permite administrar propiedades en varias tareas
 Proporciona un ámbito para variables usadas por un grupo de tareas
 Permite establecer un atributo de transacción

– Foreach Loop Container (Contenedor de bucles Foreach)
 Ejecuta un flujo de control repetidamente mediante un enumerador.
 Este bucle recorre elementos de una colección, la colección pueden ser
desde ficheros en un directorio hasta registros en un dataset.
Foreach Loop Container
Data Flow Task
Ejemplo:
• Si la carpeta especificada por el enumerador
contiene cuatro archivos, el bucle se repetirá
cuatro veces y copiará cuatro archivos.

– For Loop Container (Contenedor de bucles For)
 Ejecuta un flujo de control repetidamente probando una condición.
 Es un bucle al estilo de la programación normal en el que se especifica:
 Cláusula de inicialización
 Cláusula de evaluación (detiene el bucle cuando devuelve False, es por
tanto una expresión booleana)
 Cláusula de asignación (sirve para cambiar los valores y que la expresión
booleana que se evalúa pueda ir cambiando).
For Loop Container

Ejemplo :
Data Flow Task
• Si la expresión de inicialización es @Counter = 0
• La expresión de evaluación es @Counter < 4
• La expresión de iteración es @Counter =
@Counter + 1
• El bucle se repetirá cuatro veces y enviará cuatro
mensajes de correo electrónico.

• Variables
– Objetos temporales para almacenar valores en los paquetes.
– Las variables tienen un ámbito determinado.
– Diseñados para ser usados con otros objetos como: conexiones, tareas y
transformaciones (Script Components o Script Tasks).
– Existen dos tipos : System (solo lectura)/User (declarados en el paquete).
Configurar Variables
Donde se usan las variables?

• Variables
– Propiedades de las variables
Especifica el tipo de datos del

valor de la variable
Nombre y descripción de los objetos

Establezca en True para usar el
resultado de la evaluación de una
expresión en la propiedad Value
Abrir en (…) inicia el cuadro
Generador de expresiones y
generar la expresión con la
herramienta gráfica o escriba una
expresión.
SSI define namespace User

(variables personalizadas) y
System (variables del sistema) Se define un valor. El valor debe
ser compatible con el tipo de valor
de la propiedad Value type
Se establece en False para
que la variable sea de
lectura/escritura. Establezca en True para activar un
evento cuando cambie el valor de la
variable (value).

Ejercicio Nº 4.5: Containers y variables
Define variables en el paquete. Uso del contenedor For Each

Loop.
• Implementar Containers y variables para recorrer una lista

de archivos y cargarlos a una tabla de base de datos.

• Lookups (Búsqueda)
– Implementa un mecanismo útil para efectuar transformaciones
utilizando tablas de equivalencia.
– Ejemplo: la figura muestra la utilización de una tabla de
búsqueda para convertir los códigos de distritos de Lima en sus
respectivos nombres.

• Data Conversions (Conversión de datos)
– Son transformaciones que efectúan conversiones de tipos
de datos.
Ejemplo: Convertir cadenas de formato UNICODE a no-UNICODE
Tipos de datos : https://msdn.microsoft.com/es-es/library/ms141036(v=sql.120).aspx

Compatibilidad conversión de tipos de datos: https://msdn.microsoft.com/es-
es/library/ms141704(v=sql.120).aspx

Ejercicio Nº 4.6: Data Conversion y Lookup
Utiliza las transformaciones Data Conversion y Lookup.
• Implementar Data Conversion y Lookup para permitir

transformaciones de tipos de datos y búsquedas de
equivalencias.

• Package Configurations
– Permiten que los paquetes de SQL Server Integration Services
tomen valores iniciales a partir de orígenes externos.
– Los package configurations permiten definir información de
entrada a través de los siguientes tipos:

– Archivos de Configuración XML
 Permite crear un archivo de configuración, reutilizar un archivo
existente y agregarle configuraciones nuevas, o bien reutilizar un
archivo existente sobrescribiendo el contenido actual.
Ejemplo:
• Se muestra la sintaxis de un archivo de configuración XML, en la cual se muestra una
configuración (False) para la propiedad Value de una variable entera llamada MyVar.

– Tabla SQL Server
 Deberá especificar la conexión a la base de datos de SQL Server
en la que desee almacenar las configuraciones.
 Puede guardar las configuraciones en una tabla existente o crear
una tabla nueva en la base de datos especificada.
Ejemplo:
• Se muestra la instrucción CREATE TABLE predeterminada que proporciona el asistente
para la configuración de paquetes.
• El nombre que asigna a la configuración, es el valor que se almacena en la columna
ConfigurationFilter.

Ejercicio Nº 4.7: Package Configurations
Utiliza package configurations en el proyecto SSIS

desarrollado.
• Implementar package configurations que permitirá

almacenar una configuración para determinar la ejecución o
no de un paquete.

• Derived Column (columna derivada)
– Se utiliza para generar nuevas columnas, con base en columnas existentes.
– Esto se hace a través de lenguaje de expresiones SSIS, es decir, fórmulas que
se aplican a las columnas de input para generar un nuevo valor de output.
– Es útil para efectuar concatenaciones, extraer una porción de una cadena,
obtener partes de una fecha, aplicar funciones matemáticas, entre otras.

Ejercicio Nº 4.8: Derived Column
Utiliza la transformación Derived Column en el proyecto SSIS

desarrollado.
• Implementar Derived Column que permitirá concatenar los

valores de dos columnas.

• Fuzzy Lookup (Búsqueda aproximada)

– Obtiene información a partir de tablas de equivalencia, pero no se necesita que la
equivalencia sea exacta.
– La transformación usa conexiones de SQL Server database para crear tablas
temporales que utiliza el algoritmo fuzzy cuando efectua la comparación de datos.

• Fuzzy Lookup (Búsqueda aproximada)
– La transformación agrega columnas a la tabla Lookup que son las

siguientes:
 _Similarity: una columna que describe la similitud entre los valores input y
referencia de columnas.
 _Confidence: una columna que describe la calidad de la coincidencia entre

los valores input y referencia de columnas.
– La puntuación de similitud es la siguiente:

Puntuación Descripción
0.0 No se encontraron coincidencias
1.0 Se encontró coincidencia exacta
Grado de similitud, en el que un valor cercano a 1.0

0.0 – 1.0
indica mayor similitud.

Ejercicio Nº 4.9: Fuzzy Lookup
Utiliza la transformación Fuzzy Lookup en el proyecto SSIS

desarrollado.
• Implementar con Fuzzy Lookup una solución de SSIS que

permita identificar calidad de los datos durante una
transformación.

• Aggregate y Sort (Agregado y Ordenar)
– Aggregate permite efectuar cálculos agregados (sumas, máximos, mínimos).
– SORT permite ordenar datos. Su aplicación es necesaria para los siguientes
casos:
 Cuando los origen de datos no soporta operaciones de agregación y ordenamiento (archivos texto
y Excel)
 Cuando se requiere agregar y ordenar datos que provienen de operaciones previas sobre
múltiples orígenes de datos.
 El uso de operadores ORDER BY, GROUP BY, etc. en una conexión SQL Server hacen que la
consulta sobre el origen de datos sea muy lenta.

Ejercicio Nº 4.10: Aggregate y Sort
Utiliza la transformación Aggregate y Sort en el proyecto SSIS

desarrollado.
• Implementar con Aggregate y Sort una solución de SSIS

que permita agrupar y ordenar datos durante el proceso de
transformación.

• Merge Join (Combinación de mezcla)
– Permite combinar filas provenientes de múltiples orígenes.
– Durante la aplicación de esta transformación se debe cumplir las siguientes
condiciones:
 Las columnas que cumplen el papel de Join Keys deben tener el mismo tipo de datos.
 Las filas que ingresan a la transformación Merge Join deben estar ordenadas con base
en los valores de las columnas que cumplen el papel de Join Keys.
Input 1 Input 2
c
 1,67000

v
2,78000
Ejemplo: pueden tenerse las siguientes filas en un

archivo de texto (contiene ID Cliente y las ventas) y
una tabla de BD que contiene el ID Cliente y el
nombre del cliente. Se requiere unir la información
en una sola tabla.
Output
Ejercicio Nº 4.11: Merge Join
Utiliza la transformación Merge Join en el proyecto SSIS

desarrollado.
• Implementar Merge Join en un proyecto SSIS para permitir

mezclar información de diferentes fuentes de datos durante
el proceso de transformación.

• Condition Split (División Condicional)
– Permite bifurcar un flujo de datos, con base en condiciones lógicas.
– Se puede definir varios outputs cada uno de los cuales tiene asignada una
cierta condición lógica.
Ejemplo: al leer un archivo de despachos por

provincia, se puede hacer que las filas cuyo IDPlanta
del departamento sea “Lima” se escriban en una tabla
de SQL Server Despachos Lima, y las filas
correspondientes al departamento de Trujillo se
escriban en otra tabla de SQL.

Ejercicio Nº 4.12: Condition Split
Utiliza la transformación Conditional Split en el proyecto SSIS

desarrollado.
• Implementar Conditional Split en un proyecto SSIS para

permitir bifurcar los datos durante el proceso de
transformación.

• Distribución (Deployment) del proyecto SIS

– Una vez terminado, los paquetes del proyecto
deben desplegarse en un servidor de SSIS.
– Los paquetes pueden residir en :
 El sistema de archivos (File System): se
graba en un archivo ubicado en una carpeta del
sistema de archivos del servidor
 En la BD de sistema msdb: se almacena en la
base de datos MSDB (BD SQL Server)
– Luego de distribuirlos, pueden ser ejecutados
manualmente desde SSMS.

• Distribución (Deployment) del proyecto SIS
– El despliegue puede efectuarse de dos maneras:
 Manual: copiar en el servidor el archivo del paquete (. dtsx) y cargarlo en
SSIS. Solo se puede distribuir un paquete a la vez.
 Utilitario de despliegue (Deployment Utility): es un asistente que
produce un archivo que puede ejecutarse en el servidor. Se puede distribuir
varios paquetes a la vez.

Ejercicio Nº 4.13: Distribución (Deployment) del
proyecto SSIS
Despliega el proyecto SSIS en forma manual.
• Implementar el proceso de despliegue de paquetes SSIS

permitiendo la gestión.

• Programar la ejecución de un paquete SSIS
– Esta automatización se implementa a través de trabajos (jobs) del
agente de SQL Server 2016. Este servicio debe estar iniciado
para que los paquetes se ejecuten de manera automática.

Ejercicio Nº 4.14: Programar ejecución de
paquetes SSIS
Programar la ejecución de un paquete SSIS.
• Implementar la programación de paquetes SSIS permitiendo

su automatización.

• Data Profiling Task (Tarea de Perfiles de datos)
– Los problemas de calidad de datos cuesta a las empresas
estadounidenses más de $ 600 mil millones por año.
– ¿Por qué un costo tan elevado? Si los datos no tienen calidad, sus
KPIs y predicciones de minería de datos serán incorrectas y podría
llevar malas decisiones de negocios.

• Data Profiling Task (Tarea de perfiles de datos)
– Perfiles que analizan columnas individuales :

• Data Profiling Task (Tarea de perfiles de datos)
– Perfiles que analizan varias columnas o las relaciones en
columnas y tablas

Ejercicio Nº 4.15: Data Profiling Task
Utilizar SSIS para analizar datos almacenados en una BD SQL

Server.
• Conocer e implementar Data Profiling Task con SSIS.

Ejercicio Nº 4.16: Creación de un proceso ETL
Utilizar SSIS para poblar el Data Mart.
• Implementar la programación de paquetes SSIS permitiendo

su automatización.

Lecturas adicionales
Para obtener información adicional, puede consultar:
• SQL Server Integration Services

̵ https://msdn.microsoft.com/en-us/library/ms141026(v=sql.130)
• What's New (Integration Services)

− https://technet.microsoft.com/en-us/library/bb522534(v=sql.130).aspx
• Developer's Guide (Integration Services)

− https://technet.microsoft.com/en-us/library/ms136025(v=sql.130).aspx

Resumen
En este capítulo, usted aprendió que:
• Integration Services permite realizar los procesos de carga

al Datawarehouse usando tareas, contenedores y
precedents y constraint.
• Los paquetes integration son el componente fundamental en
una solución ETL Integration Services.
• Las tareas más complejas pueden realizarse a través de
Script Components o Script Task.
• La automatización de paquetes integration services se
realiza a través de Job SQL Server 2016.

Tarea Nº 4: Poblando un Datamart (Segundo
Entregable)
• Utilizar Integration Services 2016 para implementar el
proceso de ETL de su Datamart propuesto.
• Implementar según lo diseñado en el documento de
proceso de transformación de su Datamart propuesto
definido en la tarea del capítulo 3.

00 Presentación PDF

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

00 Presentación PDF

Cargado por

Copyright:

Formatos disponibles

Capítulo 3: Diseño de un Datamart

Capítulo 4: Poblando un Datamart

Capítulo 5: Modelos de datos multidimensionales

Business Intelligence SQL Server 2016

6-1 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Al finalizar el capítulo, el alumno podrá:

6-2 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• Etapas de un proceso ETL

6-3 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• Los procesos que pueblan el Datamart extraen,

6-4 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• Extracción y carga - Mapeos de datos

6-5 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Fuente datos Modelo multidimensional

6-6 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• SQL Server 2016 ofrece múltiples opciones para la

6-7 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• Transact – SQL • Consultas distribuidas

6-8 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• El utilitario BCP y la sentencia Bulk Insert.

6-9 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• SQL Server Integration Services (SSIS)

6 - 10 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

SQL Server Integration Services proporciona un mecanismo para obtener información

• Los elementos de SQL Server Integration Services:

6 - 11 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• Arquitectura SQL Server Integration Services:

6 - 12 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

• El asistente de importación y • Data Conversions

6 - 13 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 14 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Al finalizar el laboratorio, el alumno logrará:

• Utilizar la herramienta de importación y exportación de

6 - 15 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 16 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Data Flow Sources

Data Flow Destinatio

6 - 17 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Al finalizar el laboratorio, el alumno logrará:

• Crear conexiones de origen y destino para la transferencia

6 - 18 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 19 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Define precedencias en un proyecto de SQL Server Integration

Al finalizar el laboratorio, el alumno logrará:

• Conocer e implementar precedencias entre los flujos de

6 - 20 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 21 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Escribe una transformación personalizada a través del Script

Al finalizar el laboratorio, el alumno logrará:

• Implementar componentes avanzados, escritos a través de

6 - 22 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 23 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

6 - 24 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Foreach Loop Container

Data Flow Task

6 - 25 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

For Loop Container

6 - 26 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Donde se usan las variables?

6 - 27 Copyright © Todos los Derechos Reservados - Cibertec Perú SAC.

Especifica el tipo de datos del

Nombre y descripción de los objetos

SSI define namespace User