Data Services 4.2 Training: Enero 2016

Data Services 4.
2 Training
Enero 2016
Curso Data Services 4.2 - Introdución
SAP Data Services ofrece una única solución de clase empresarial para la
integración, calidad, perfiles y procesamiento de datos de texto que:
 Le permite integrar, transformar, mejorar y ofrecer datos fiables para

los procesos críticos de negocio.
 Proporciona interfaces de usuario de desarrollo, un repositorio de
metadatos, una capa de conectividad de datos, un entorno de Real-
Time y una gestión de consola que permite a las organizaciones a
reducir el coste total de propiedad y acelerar el tiempo de valor.
 Permite a las organizaciones de TI para maximizar la eficiencia
operativa con una única solución para mejorar la calidad de los datos y
tener acceso a las fuentes y aplicaciones heterogéneas.
SAP EIM Product Management
Curso Data Services 4.2 - Objetivo
El objetivo del curso permitirá al personal de Banco FAMSA entender los
conceptos de administración, desarrollo y monitoreo de la herramienta
dentro de los siguientes temas:
1. Administración de SAP Data Services.
2. Desarrollo en SAP Data Services.
3. Soporte en SAP Data Services.
SAP DS 4.2 – Temario
1. ADMINISTRACION 2. DESARROLLO 3. SOPORTE
2 DIAS 2 DIAS 1 DIA
 Objetos de DS
 Recomendación de
Desarrollo
 Definición
 Nomenclaturas
 Arquitectura  Perfiles de Soporte
 Fuentes de Datos
 Componentes  Acciones de Soporte
 Desarrollos Multi-
 Recomendaciones  Ejecución,
User
Hardware/Software Cancelación y
 Cargas Batch
 Usuarios y Perfiles Monitoreo de Cargas
 Carga Real-Time
 Administración de  Monitoreo del
 Bulk Loaders
Repositorios Servidor
 Cargas en Paralelo
 Importación/Exporta  Principales puntos de
 Cargas en Memoria
ción de Contenido Falla en DS
 Revisiones Rapidas de
 Respaldos y Planes  FAQ´s
Desarrollo
de recuperación
 Jobs Programados
 Datos Anidados
 Simulación Cargas
Administración de SAP DS 4.2
 Definición
 Arquitectura
 Componentes
 Recomendaciones Hardware/Software
 Usuarios y Perfiles
 Administración de Repositorios
 Importación/Exportacion de Contenido
 Respaldos y Planes de recuperación
Administración de SAP DS 4.2
 Definición
 Arquitectura
 Componentes
SAP DS 4.2 - Definición
SAP Data Services ofrece una única solución de clase empresarial para la integración de datos,
calidad de datos, perfiles de datos y procesamiento de datos de texto.
Es una fusión de una serie de productos que incluyen Data Integrator y Data Quality. Data
Integrator es una solución ETL poderoso. Data Quality es un líder en la mejora de calidad de los
datos.
¿Qué es ETL?
ETL acrónimo es un término data warehousing y significa Extract, Transform, Load y. ETL
describe todo el proceso de cómo los datos se carga desde los sistemas de origen hasta que la
carga en el almacén de datos.
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Arquitectura
Gestión y seguridad de BODS
Repositorios de Datos
Job Server
El Servidor de tareas puede mover datos, ya sea en lotes o en modo de tiempo
real y utiliza la optimización de consultas distribuido, multi-threading, el
almacenamiento en caché en memoria, en memoria transformaciones de
datos y el procesamiento en paralelo para ofrecer un alto rendimiento de datos
y escalabilidad.
Access Server
El SAP BusinessObjects Data Services Access Server es un tiempo real, corredor
de mensaje de petición-respuesta que recoge las peticiones de mensajes, los
encamina a un servicio en tiempo real, y ofrece una respuesta de mensajes
dentro de un marco de tiempo especificado por el usuario.
Management Console
BusinessObjects Data Services Management Console es la aplicación basada en
Web con para la administración, Impacto y Análisis de Linaje, Dashboard
Operacional, Auto Documentación, validación de datos e informes de calidad
de datos.
Arquitectura
SAP Data Services tiene una arquitectura distribuida. Un servidor de acceso puede servir a múltiples Job
Servers y repositorios. La ampliación de la licencia multi-usuario permite que varios diseñadores trabajen
desde un repositorio central.
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Componentes de Data Services
Data Services Requerimientos
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Data Services – Requerimientos Mínimos
Máquina individual
Los siguientes son los requisitos totales para instalar todos los
productos de BI / IPS y servicios de datos en un sistema:
Requisitos mínimos de hardware
4 procesadores (o 2 procesadores de doble núcleo) con un
mínimo de 2 GHz recomendado
RAM 16-18 GB recomendados
Requisitos de espacio en disco (no incluye sistema operativo)
20 GB para la instalación predeterminada con el idioma Inglés
solamente instalado
23 GB para la instalación predeterminada con todas las lenguas
Data Services Below is the Best practice
Data Services – Mejores Practicas
Paisaje Distribuido
Data Services Designer (compatible sólo con Windows)

1 procesador con un mínimo de 1 GB de RAM (4 GB recomendado)
4 GB de espacio libre en disco
Servidor de datos para los servicios de empleo
2 procesadores con un mínimo de 2 GB de RAM (8 GB recomendado)
4 GB de espacio libre en disco
Recomendado mínimo página capaces tamaño del directorio de caché: 4 GB
(8 GB recomendado)
Data Services Management Console
Procesador de 1 con al menos 512 MB de RAM (se recomienda 1 GB)
150 MB de espacio libre en disco
Antes de dimensionar, consultar:
http://service.sap.com/PAM
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Gestión de Usuarios en Data Services
Account name Description
Data Services Administrator Los miembros de este grupo tienen acceso a todas las funciones de administración de Data Services.
Data Services Multi-user Administrator Miembros de este grupo se limitan a la gestión de repositorios centrales seguras. Este papel es un subconjunto de la función de
administrador de Data Services. Los Administradores Multi-usuario pueden:
Agregar y eliminar central repositories.

Gestionar users y groups.
Ver informes seguros del repositorio central..
Data Services Monitor User Los miembros de este grupo tienen un acceso limitado a las opciones disponibles en las fichas de estado. Por ejemplo, un usuario
del monitor puede abortar trabajos por lotes, pero no puede ejecutar o programarlos. Un usuario del monitor puede reiniciar,
cancelar o cerrar un servidor de acceso, servicio, ejemplo adaptador o interfaz de cliente, pero no puede añadir o eliminarlos.
Data Services Profiler Administrator Los miembros de este grupo se limitan a la gestión de repositorios de perfil. Este papel es un subconjunto de la función de
administrador. Los Administradores Profiler pueden::
Administrar tareas de perfil en cualquier repositorio de perfiles.

Administrar la configuración de perfiles.
Data Services Profiler User Los miembros de este grupo se limitan a la gestión de las tareas de perfil en el repositorio de perfiles que está configurado para el
usuario.
Data Services Operator Los miembros de este grupo tienen todos los privilegios de administrador excepto que y no puede modificar el repositorio, acceso o
servidores CMS ni actualizar la configuración del almacén de datos.
Data Services Designer Members of this group have access to the Designer. Note that application rights and repository security rights are two separate sets
of rights.
Right name Designer Monitor Multi-user Operator Profiler Profiler

Users Users Administrato Users Admin. Users Users
r
Access to
X X X X X X
Administrator
Access to Auto
X X X X X X
Documentation
Access to Data
X X X X X X
Quality Reports
Access to
X
Designer
Access to Impact
X X X X X X
and Lineage
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Administración de Repositorios
Antes de que pueda acceder a los repositorios de Data Services desde otros componentes
como Designer y Management Console, debe configurarlos adecuadamente.
En general, se sigue este flujo de trabajo para configurar un repositorio de Data Services.
1. Crear base de datos en el motor usado en la instalación.
2. Crear el repositorio en una base de datos usando el Repository Manager.
3. Registrar el repositorio en el Central Management Console (CMC).
4. Administrar la configuración de seguridad para el repositorio en el CMC.
3y4
1
2
Administración de Repositorios
Pasos para crear el repositorio en CMC.
1. Ingresar al CMC
2. En “Organice Column” dar clic en Data Services
3. Respecto los repositorios:
a) Si un repositorio local se configura durante la instalación del Job Server de Data Services,
será visualizado en el CMC.
b) Si añade un repositorio local después de la instalación con el Administrador de repositorio,
este no se agregará automáticamente a CMC y se deberá agregar de forma manual.
4. Para añadir un repositorio de Data Services en el CMC realice lo siguiente:
a) Haga clic en Administrar> Configurar repositorio
b) Haga clic en el icono Configurar un nuevo repositorio de Data Services
c) Haga clic en la carpeta Repositories y haga clic en Configurar repositorio
i. Introduzca un Nombre de repositorio.
ii. Opcionalmente, introduzca una descripción.
iii. Seleccione la lista aplicable en el tipo de base de datos desplegable.
iv. Introduzca los detalles de conexión. Los datos requeridos son la base de datos
dependiente.
v. Si el repositorio es un repositorio de perfiles Set es Profiler Repositorio a Sí.
vi. Introduzca el anfitrión Profiler Nombre del servidor
vii. Introduzca el puerto del servidor de perfiles
viii. Haga clic en Probar conexión.
ix. Haga clic en Aceptar.
x. Clic en Guardar.
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
SAP DS 4.2
Al_engine admite opciones que se utilizan sólo para las operaciones de exportación e
importación. Al_engine puede importar y exportar información del repositorio en dos formatos:
XML y ATL, lenguaje de scripting interno del software.
Por este medio se puede exportar e importar todo el repositorio.
Parameter Description
-X Exports the entire repository in ATL format to repo_export.atl.
O solo los Data Flow.
Nota: Al exportar objetos, debe especificar una contraseña, ya sea con el parámetro -passphrase
o el parámetro -epassphrase. Al importar objetos, la frase de paso es opcional. Sin embargo, si
no se especifica una contraseña, o la frase de contraseña especificada es incorrecta, se
eliminarán todas las contraseñas encriptadas en los objetos importados.
SAP DS 4.2
Tipos de código disponibles para exportación
SAP DS 4.2
 Definición
 Arquitectura
 Componentes
Respaldo SAP DS 4.2
Copia de seguridad de los repositorios, archivos de configuración y archivos de
Data Cleanse.
1. Realice una copia de seguridad de sus depósitos locales y centrales.

a) Crear una copia de seguridad de base de datos del esquema o base de
datos, donde se encuentra el repositorio de Data Services o Data
Integrator.
b) Los pasos de copia de seguridad exactas difieren entre los vendedores de
bases de datos. Asegúrese de que la copia de seguridad de base de datos
le permite restaurar la totalidad de las tablas del repositorio y de datos.
2. Copia de seguridad de los siguientes archivos de configuración utilizando las
utilidades de base de datos RDBMS:
a) admin.xml
b) SAP connections.xml
c) dsconfig.txt
d) as.xml
3. Copia de seguridad de tus archivos Data Cleanse.
2. Desarrollo de SAP DS 4.2
Objetos de DS
Recomendación de Desarrollo
Nomenclaturas
Fuentes de Datos
Desarrollos Multi-User
Bulk Loaders
Cargas Batch/Real-Time
Cargas en Paralelo
Cargas en Memoria
Revisiones Rapidas de Desarrollo
Jobs Programados
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Designer Windows de Data Services
Todas las "entidades" que se definan, editen o trabajen con el Designer se
denominan objetos.
Existen objetos reutilizables y de un solo uso.
Objetos de Data Services
Jerarquía de Objetos
Objetos de DS
Nomenclaturas
Fuentes de Datos Este apartado se va
desarrollando durante
Desarrollos Multi-User los ejemplos.
Bulk Loaders
Jobs Programados
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Nomenclatura de SAP DS 4.2
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Fuentes de Datos en SAP DS 4.2
Accediendo a Datos en Data Services
Las bases de datos a la que datastores de
Data Services se pueden conectar se
incluyen:
Oracle
IBM DB2
Microsoft SQL Server
Sybase ASE
Sybase IQ
ODBC
Metadatos consiste en:
Tablas de bases de datos
o nombre de la tabla
o nombres de columna
o tipos de datos de columna
o columnas de clave principal
o atributos de tabla
Funciones RDBMS
Estructuras de datos específicos de la
aplicación
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Multi-User en Data Services
Data Services permite a varios usuarios trabajar en la misma aplicación. Se permite a los
equipos de desarrolladores que trabajan en los repositorios de metadatos locales
separados para almacenar y compartir su trabajo en un repositorio central. Puede
implementar características de seguridad opcionales para repositorios centrales. Para
obtener más información acerca de cómo implementar la seguridad Repositorio Central,
consulte el Manual del diseñador.
El uso de un repositorio central, puede:

 Obtener objetos en el repositorio local
 Salida objetos del repositorio central en el repositorio local
 Compruebe en objetos del repositorio local al repositorio central
 Agregar objetos del repositorio local al repositorio central
Multi-User en Data Services
Un entorno multiusuario afecta cómo utiliza Data Services y la forma en que administra
distintas fases de una aplicación. Para tener éxito en un entorno multi-usuario, debe
mantener la coherencia entre su repositorio local y el repositorio central.
El objeto más alto nivel es el objeto que no es dependiente de cualquier objeto en la

jerarquía de objetos. Por ejemplo, de Job 1 se compone de de Work Flow 1 y Data Flow 1,
entonces Job 1 es el objeto más alto nivel.
Los objetos dependientes

objetos asociados bajo el
objeto de nivel más alto en la
jerarquía. Por ejemplo, si Job
1 está compuesto de Work
Flow 1, que contiene Data
Flow 1, entonces tanto de
Work Flow 1 y Data Flow 1
son dependientes de Job 1.
Además, Data Flow 1 es
dependiente del de Work
Flow 1.
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Bulk Loader en Data Services
Para mejorar el rendimiento cuando se utiliza captura de datos modificados (CDC) o auto de
carga correcta, Data Services utiliza una tabla de etapas temporales en HANA para cargar la
tabla de destino.
Data Services primero carga los datos en una tabla puesta en escena y luego aplica los
códigos de operación (INSERT, UPDATE y DELETE) para actualizar la tabla de destino.
Con la opción de carga Bulk seleccionado en el editor de tabla de destino, cualquiera de las
siguientes condiciones dispara el mecanismo.
 El flujo de datos contiene una Map_CDC_Operation transform
 El flujo de datos contiene una Map_Operation transform
 El flujo de datos contiene una Table_Comparison transform
 La opción de carga correcta Auto en el editor de tabla de destino se establece en Sí
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Datos Anidados
Simulación Cargas
Batch Job en Data Services
Un Job batch es un conjunto de objetos que se pueden programar y ejecutar juntos. Para
ejecutar los pasos de cualquier objeto, el objeto debe ser parte de un Job.
Un Job batch puede contener los Se puede ejecutar Jobs batch para recuperar
siguientes objetos: automáticamente tareas no se ejecutadas
 Data flows correctamente. Específicamente, el software
• Sources recupera los resultados de los siguientes tipos de
• Transforms pasos:
• Targets Work flows
 Work flows Data flows
 Scripts Script statements
 Conditionals Custom functions (stateless type only)
 Try/catch blocks SQL function
 While Loops EXEC function
get_env function
rand function
sysdate function
systime function
Batch Job en Data Services
Asegúrese de que sólo una instancia de un trabajo se ejecuta a la vez.
Usted puede prevenir varias instancias de un funcionamiento de trabajo marcando la casilla
instancia individual en la ventana Propiedades. Cuando se selecciona la casilla de
verificación de instancia única, el sistema cancelará todas las instancias adicionales del
trabajo mientras la instancia actual se está ejecutando. En la Consola de administración, en
la ficha Estado del trabajo por lotes, aparece una X roja junto a la segunda instancia de la
tarea.
Real-Time Job en Data Services
Un Job en tiempo real tiene los mismos atributos incorporados como un trabajo por lotes:
Nombre, Descripción y Fecha de creación.
Al igual que Jobs batch, los Jobs en tiempo real utilizan la depuración y traza de
propiedades para determinar qué información del software se recopila y numero de
registros cuando se ejecuta el trabajo. Sin embargo, los trabajos en tiempo real no se
habilitan opciones de depuración de recuperación.
Real-Time Job en Data Services
Se crea un Job de tiempo real en el Diseñador y luego configurar en el administrador como
un servicio en tiempo real asociado a un servidor de acceso a la consola de gestión. Esta
demostración le explicará brevemente la configuración de la consola de gestión.
Podemos ejecutar el trabajo en tiempo real desde cualquier herramienta de terceros
usemos SOAPUI (herramienta de terceros) para demostrar nuestro trabajo en tiempo real.
A continuación se muestra la pantalla de trabajo por lotes se utiliza para crear una tabla de
ejemplo en la base de datos (primer flujo de datos) y crear el archivo de destino XML
(segundo flujo de datos). El archivo de destino XML (Creado en el segundo flujo de datos) se
puede utilizar para crear la fuente del mensaje XML en el trabajo a tiempo real.
Creación de un Job
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Ejecuciones Múltiples de un Job en Data Services
Data Services admite la ejecución de varias instancias del mismo Job en paralelo. Sólo el
diseño de su Job va a limitar lo que se puede hacer. Por lo general, se podría agregar un
identificador para los datos que se procesan para que no interfiriera con los datos de otras
instancias.
Un mismo Job puede:
1. Ejecutar al mismo tiempo con diferente configuración de datos.

2. Ejecutar por compañía.
3. Ejecutar por centro de costos.
4. Ejecutar por región o país.
Se puede controlar por medio de la base de datos la duplicidad de estas ejecuciones, esto
es. Puede ejecutar un mismo Job, pero con diferentes parámetros.
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Cargas en Memoria en Data Services
Data Services admite la ejecución de varias instancias del mismo Job en paralelo. Sólo el
diseño de su Job va a limitar lo que se puede hacer. Por lo general, se podría agregar un
identificador para los datos que se procesan para que no interfiriera con los datos de otras
instancias.
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Transformaciones en Data Services
Platform Transform
Se construye un Job desde inicio para visualizar el principal componente “Query”
transform y dar seguimiento a el mapeo y transformaciones que se pueden hacer
dentro de este componente.
Case Transform
Igual que un CASE de SQL, se pueden

tener opciones de desvío de
información para datos destino con
diferentes características (referentes a
el valor de un campo, especificamente)
Data_Mask Transform
Permite enmascarar información

extraída de una fuente de datos.
Map_Operation Transform
Nos permite cambiar el código de operación para los registros. El código de operación
utiliza una bandera que indica cómo se aplica cada fila en blanco.
Merge Transform
Permite unir los datos de dos o mas tablas en una fuente de datos.
Row_Generation Transform
No hace nada más que la generación de una fila tras otra en INTEGER (consecutivo
numerico).
SQL Transform
Se puede escribir una consulta SQL customizada.

Validation Transform
Se utiliza para filtrar o reemplazar el conjunto de

datos de origen sobre la base de criterios o reglas
de validación para producir el conjunto de datos
de salida deseada.
XML_MAP Transform
Cuanto se tiene que cargar grandes cantidades de datos a través de un servicio web o una
BAPI pero tampoco desea cargar un registro a la vez ni se puede hacer una gran llamada con
todos los datos. La solución es XML_MAP.
Data Integrator Transform
Data_Transfer Transform
Cada vez que la funcionalidad de flujo de datos requiere múltiples tabla de destino, la
adición de un Data_Transfer (con tipo de transferencia = Tabla) entre la consulta y las tablas
de destino podrían ayudar en la solución de los problemas de rendimiento. El escaneo
completo de tabla (seguida por otras operaciones de procesamiento y de inserción de la
base de datos DS) ha sido sustituido por tres insertos (con sub-select) que están
completamente haciendo un Push Down a la base de datos.
Date_Generation Transform
Genera rango de fechas.
Effective_date Transform
Genera una columna adicional con la fecha efectiva, basada en una primary key’s “effective date”
IN
OUT
Hierarchy_flattening Transform
Se puede analizar una relación padre-hijo y proporcionar una descripción de la jerarquía en

un formato aplanado (verticalmente aplanado / horizontalmente aplanada). Cada fila de la
salida contendrá 1 relación padre-hijo.
History_Preserving Transform
La History Preserving permite producir una nueva fila en la meta en lugar de actualizar una
ya existente fila. Podemos indicar en qué columnas del _ identifica los cambios que se
conservan.
Key_Generation Transform
Se utiliza para generar claves artificiales para nuevos registros en una tabla.
Map_CDC_Operation Transform
Se utiliza para apoyar la captura de cambio de datos relacional o una unidad central (CDC).
Pivot Transform
Pivot transform crea una nueva fila para cada valor en las columnas que identificamos como
columnas pivote.
Puede reorganizar los datos en una forma más simple y manejable, con todos los datos en
una sola columna, sin perder la información de categoría.
Reverse_Pivot Transform
Crea un solo registro de datos de varias filas existentes.

Se nos permite combinar datos de varias filas en una sola fila mediante la creación de
nuevas columnas.
Puede reorganizar los datos en una forma más búsquedas sin perder la información de
categoría.
Table_Comparision Transform
Ayuda a comparar dos conjuntos de datos y genera la diferencia entre ellos como un
conjunto de datos resultantes establecidos con filas marcadas como INSERT, UPDATE o
DELETE.
XML_Pipeline Transform
XML Pipeline es una lógica readymade en forma de transform que ayuda a extraer la parte
de datos XML de forma dinámica.
Objetos de DS
Nomenclaturas
Fuentes de Datos
Bulk Loaders
Jobs Programados
Jobs Programados en BODS 4.2
Gracias
Marco Antonio Contreras
marco.contrerasp@intellego.com.mx
Prolongación Paseo de la Reforma 1236 - Piso 3

Col. Santa Fe - Del. Cuajimalpa - CP 05348
México, D.F. – Tel. 55 30042984 al 87
copyright ©2012 Intellego, SC, Todos los derechos están reservados

Data Services 4.2 Training: Enero 2016

Cargado por

Información del documento

Título original

Derechos de autor

Formatos disponibles

Compartir este documento

Compartir o incrustar documentos

Opciones para compartir

¿Le pareció útil este documento?

¿Este contenido es inapropiado?

Copyright:

Formatos disponibles

Data Services 4.2 Training: Enero 2016

Cargado por

Copyright:

Formatos disponibles

Data Services 4.

 Le permite integrar, transformar, mejorar y ofrecer datos fiables para

Gestión y seguridad de BODS

Data Services Designer (compatible sólo con Windows)

Agregar y eliminar central repositories.

Administrar tareas de perfil en cualquier repositorio de perfiles.

Right name Designer Monitor Multi-user Operator Profiler Profiler

Por este medio se puede exportar e importar todo el repositorio.

O solo los Data Flow.

1. Realice una copia de seguridad de sus depósitos locales y centrales.

El uso de un repositorio central, puede:

El objeto más alto nivel es el objeto que no es dependiente de cualquier objeto en la

Los objetos dependientes

Un mismo Job puede:

1. Ejecutar al mismo tiempo con diferente configuración de datos.

Igual que un CASE de SQL, se pueden

Permite enmascarar información

Se puede escribir una consulta SQL customizada.

Se utiliza para filtrar o reemplazar el conjunto de

Se puede analizar una relación padre-hijo y proporcionar una descripción de la jerarquía en

Crea un solo registro de datos de varias filas existentes.

Prolongación Paseo de la Reforma 1236 - Piso 3

copyright ©2012 Intellego, SC, Todos los derechos están reservados

También podría gustarte