Proceso de Extracción; transformación y Carga de Datos en DW

ETL es un tipo de integración de datos que hace referencia a los tres pasos (extraer,
transformar, cargar) que se utilizan para mezclar datos de múltiples fuentes. Se
utiliza a menudo para construir un almacén de datos. Durante este proceso, los
datos se toman (extraen) de un sistema de origen, se convierten (transforman) en
un formato que se puede almacenar y se almacenan (cargan) en un data warehouse
u otro sistema. Extraer, cargar, transformar (ELT) es un enfoque alterno pero
relacionado diseñado para canalizar el procesamiento a la base de datos para
mejorar el desempeño.

Historia de ETL

ETL cobró popularidad en la década de 1970 cuando las organizaciones

comenzaron a utilizar múltiples repositorios de datos, o bases de datos, para
almacenar diferentes tipos de información de negocios. La necesidad de integrar
datos que se diseminaran por estas bases de datos creció con rapidez. ETL se
convirtió en el método estándar para extraer datos de diferentes fuentes y
transformarlos antes de cargarlos en una fuente pretendida o destino.

A fines de la década de 1980 y principios de la década de 1990, los data warehouses

aparecieron en escena. Siendo un tipo de base de datos diferente, los data
warehouses proveían acceso integrado a datos de múltiples sistemas –
computadoras mainframe, minicomputadoras, computadoras personales y hojas de
cálculo. Pero diferentes departamentos a menudo elegían diferentes herramientas
ETL para utilizarlas con almacenes de datos distintos. Junto con fusiones y
adquisiciones, muchas organizaciones terminaban con diferentes soluciones ETL
que no estaban integradas.

Con el tiempo, el número de formatos, fuentes y sistemas de datos ha aumentado

enormemente. Extraer, transformar, cargar (ETL) es ahora sólo uno de varios
métodos que utilizan las organizaciones para recopilar, importar y procesar datos.
ETL y ELT son ambos partes importantes de una estrategia de integración de datos
más amplia de una organización.
 Por qué es importante ETL
Las empresas han confiado en el proceso ETL por muchos años para obtener una
vista consolidada de los datos que que dé lugar a mejores decisiones de negocios.
Hoy día, este método de integración de datos de múltiples sistemas y fuentes sigue
siendo un componente central de la caja de herramientas de integración de datos
de una organización.

 Cuando se utiliza con un almacén de datos empresarial (datos en reposo), ETL provee
profundo contenido histórico para la empresa.

 Proporcionando una vista consolidada, ETL facilita a los usuarios de negocios analizar y
generar reportes sobre datos relevantes para sus iniciativas.

 ETL puede mejorar la productividad de los profesionales de los datos porque codifica y
reutiliza procesos que mueven datos sin requerir habilidades técnicas para escribir código
o scripts.

 ETL ha evolucionado para satisfacer requisitos de integración emergentes para cosas como
los datos transmitidos por streaming.
 Las organizaciones necesitan ETL y ELT para conjuntar datos, mantener la precisión y
proporcionar el recurso de auditoría que suele requerirse en los almacenes, reportes y
análisis de datos.

Cómo se utiliza ETL

Las herramientas ETL y ELT centrales trabajan en paralelo con otras herramientas
de integración de datos, y con otros diferentes aspectos de la gestión de datos –
como calidad de datos, gobierno de datos, virtualización y metadatos. Entre sus
usos populares actuales se cuentan:

ETL y usos tradicionales

ETL es un método probado al que muchas organizaciones recurren todos los días
– como comerciantes detallistas que necesitan ver datos de ventas con
regularidad o proveedores de atención a la salud que buscan una descripción
precisa de solicitudes. ETL puede combinar y sacar a la superficie datos de
transacciones de un almacén de datos a otro de modo que estén listos para que
los vean personas de negocios en un formato que puedan entender. ETL se utiliza
también para migrar datos de sistemas heredados a sistemas modernos con
diferentes formatos de datos. Se utiliza a menudo para consolidar datos de
fusiones de negocios, y para recopilar y unir datos de proveedores o asociados
externos.

ETL con big data – Transformaciones y adaptadores

El que consiga más datos gana. Aunque no es necesariamente cierto, tener

acceso fácil a un a una amplia variedad de datos puede dar a las empresas una
ventaja competitiva. Hoy día, las empresas necesitan tener acceso a todo tipo de
big data – desde videos, medios sociales, la Internet de las Cosas (IoT), registros
de servidores, datos espaciales, datos abiertos o externalizados, y más. Los
proveedores de ETL agregan con frecuencia nuevas transformaciones a sus
herramientas para cumplir estos requisitos emergentes y admitir nuevas fuentes
de datos. Los adaptadores dan acceso a una enorme variedad de fuentes de
datos, y herramientas de integración de datos interactúan con estos adaptadores
para extraer y cargar datos con eficiencia.
ETL para Hadoop – y más

ETL ha evolucionado para dar soporte a la integración en mucho más que data
warehouses tradicionales. Herramientas ETL avanzadas pueden convertir y cargar
datos estructurados y no estructurados en Hadoop. Estas herramientas leen y
escriben múltiples archivos en paralelo en y desde Hadoop, simplificando la forma
en que se fusionan datos en un proceso de transformación común. Algunas
soluciones incorporan librerías de transformaciones ETL pre construidas para los
datos de transacciones e interacciones que se ejecutan en Hadoop. ETL permite
también la integración en sistemas transaccionales, almacenes de datos
operacionales, plataformas de inteligencia de negocios, concentradores de gestión
de datos maestros (MDM) y la nube.

ETL y acceso a datos con autoservicio

La preparación de datos con autoservicio es una tendencia en rápido crecimiento

que da el poder de acceder a, combinar y transformar datos en las manos de
usuarios de negocios y otros profesionales de datos no técnicos. Para un fin
específico por naturaleza, este enfoque incrementa la agilidad organizacional y
libera a TI de la carga de proveer datos en diferentes formatos para usuarios de
negocios. Se invierte menos tiempo en la preparación de datos y más en generar
insights. En consecuencia, los profesionales de datos de negocios y de TI pueden
elevar su productividad y las organizaciones pueden escalar su uso de datos para
tomar mejores decisiones.

ETL y calidad de los datos

ETL y otras herramientas de software de integración de datos – que se utilizan

para depurar, perfilar y auditar datos – garantizan que los datos sean confiables.
Las herramientas ETL se integran con herramientas de calidad de datos y los
proveedores de ETL incorporan herramientas relacionadas en sus soluciones,
como aquellas que se utilizan para el mapeo y el rastreo del linaje de los datos.

ETL y metadatos

Los metadatos nos ayudan a entender el linaje de los datos (de dónde provienen)
y su impacto en otros activos de datos en la organización. Conforme las
arquitecturas de datos se vuelven más complejas, es importante dar seguimiento a
la forma en que se utilizan y se relacionan los diferentes elementos de datos en su
organización. Por ejemplo, si agrega un nombre de cuenta de Twitter a su base de
datos de clientes, necesitará saber qué se verá afectado, como tareas,
aplicaciones o reportes ETL.

¿Por qué necesita una herramienta ETL?

Aquí hay algunas formas en que una herramienta ETL puede ayudar a su
negocio a crecer:

1. Eficiencia de tiempo

Una herramienta ETL le permite recopilar, transformar y consolidar datos de

forma automatizada Como resultado, puede ahorrar mucho tiempo y esfuerzo
de lo contrario gastado en importar datos manualmente.

2. Manejar datos complejos fácilmente

Con el tiempo, su empresa tendrá que trabajar con una gran cantidad de
datos complejos y diversos. Por ejemplo, puede ser una organización
multinacional con datos provenientes de 3 países diferentes con distintos
nombres de productos, ID de clientes, direcciones, etc.

Si tiene que administrar una variedad de atributos, puede terminar

formateando datos durante todo el día. Una herramienta ETL agiliza las
tediosas tareas de limpieza de datos para usted.

3. Probabilidad de error reducida

Incluso si tiene cuidado con sus datos, es propenso a cometer errores al

manipularlos manualmente. Un pequeño error en las primeras etapas del
procesamiento de datos puede ser peligroso. ¿Por qué? Porque un error
conduce a otro error y el ciclo continúa. Por ejemplo, si ingresa datos de
ventas incorrectamente, todos sus cálculos pueden salir mal.

Las herramientas ETL automatizan varias partes de un proceso de datos, lo

que reduce la intervención manual y, por lo tanto, reduce la probabilidad de
error.
4. Inteligencia empresarial y ROI mejorados

Una herramienta ETL ayuda a garantizar que los datos que obtiene para el
análisis sean de la mejor calidad posible. Como resultado, puede utilizar estos
datos de alta calidad para tomar mejores decisiones y aumentar su ROI.

Tipos de herramientas ETL

Las herramientas ETL se pueden clasificar en los siguientes tipos principales:

Herramientas ETL por lotes

En estos tipos de herramientas ETL, el procesamiento por lotes se utiliza para

adquirir datos de los sistemas de origen. Los datos se extraen, transforman y cargan
en el repositorio en lotes de trabajos ETL.

Es un método rentable porque utiliza recursos limitados de forma temporal.

Herramientas ETL en tiempo real

En las herramientas ETL en tiempo real, los datos se extraen, limpian, enriquecen y
cargan en el sistema de destino en tiempo real. Estas herramientas le ofrecen un
acceso más rápido a la información y mejoran el tiempo para obtener información.

Como la necesidad de reunir y analizar los datos en el menor tiempo posible ha

aumentado, estas herramientas ETL se están volviendo más populares entre las
empresas.

Herramientas ETL en las instalaciones

Un gran número de empresas operan sistemas heredados que tienen tanto los datos
como el repositorio configurados localmente. La principal razón detrás de esta
implementación es la seguridad de los datos. Es por eso que las empresas prefieren
tener una herramienta ETL que se pueda implementar en el sitio.

Herramientas de ETL en la nube

Como sugiere el nombre, estas herramientas se implementan en la nube, ya que

varias aplicaciones basadas en la nube forman una parte esencial de la arquitectura
empresarial. Las empresas optan por herramientas ETL en la nube para gestionar la
transferencia de datos desde estas aplicaciones. Las herramientas ETL basadas en la
nube permiten a las empresas aprovechar la flexibilidad y la agilidad en el proceso
ETL.
 Casos de uso de herramientas ETL

Estos son los tres casos de uso más comunes del software ETL en el sector
empresarial, que explican cuándo usar ETL:

Almacenamiento de Datos

Data Warehouse es un entorno organizado que contiene datos comerciales críticos.

Pero antes de que los datos se carguen en el almacén de datos, deben limpiarse,
enriquecerse y transformarse. Una vez cargados, estos datos se convierten en una
'única fuente de verdad' para el negocio.

Uno de los pasos principales en la construcción de un almacén de datos es

asegurarse de que los datos conserven la calidad y la precisión. Una herramienta
ETL en un almacén de datos puede reforzar este concepto y simplificar la ejecución
de este caso de uso sin esfuerzo, lo que permite una carga de datos confiable.

Migración de datos

Otro caso de uso vital de una herramienta ETL es la actualización de sistemas

o datos en movimiento de un sistema heredado a uno moderno.

El desafío de la migración de datos es principalmente la disparidad en el formato de

los sistemas nuevos y antiguos. Una herramienta ETL, con su
mejorado transformación capacidades, asegura que el formato, la estructura y el
esquema de los datos de origen sean compatibles con el sistema de destino.

ELT o Optimización de Pushdown

En un proceso ETL, la transformación tiene lugar en el área de preparación antes

de que los datos se carguen en el sistema de destino.

Por otro lado, en un Proceso ELT, los datos se obtienen, se ingresan en la base de
datos y las transformaciones se realizan en la base de datos. Este proceso se
prefiere para conjuntos de datos de gran volumen. Reduce la tensión en el servidor
de la herramienta porque todo el procesamiento se lleva a cabo en la base de datos.

Ahora que sabe cuándo usar ETL, avancemos hacia lo que debe buscar al
seleccionar una herramienta ETL.

¿Qué buscar al elegir una herramienta ETL?

Para una empresa basada en datos, elegir la herramienta ETL adecuada puede ser
un aspecto insustituible de su pila de análisis de datos. Pero la pregunta es, ¿cómo
encuentras la herramienta adecuada? Muchos empresas de desarrollo de
software ofrecer software ETL que se adapte a las necesidades de su negocio.
Para ayudarlo a seleccionar la correcta, hemos compilado una lista de
características clave que pueden reducir su búsqueda:

· Conectividad

La herramienta ETL adecuada debe conectarse a todas las fuentes de datos que
utiliza su empresa. Idealmente, debería tener conectores incorporados para todos
sus sistemas necesarios, incluidas bases de datos, aplicaciones de ventas y
marketing, formatos de archivo y más, lo que facilita la obtención de datos desde y
hacia cualquier sistema.

· Interfaz fácil de usar

Una interfaz libre de errores y fácil de usar proporciona una experiencia consistente
y confiable para manejar tareas relacionadas con datos. La configuración sencilla
es un beneficio adicional que puede ayudarlo a dar vida a sus canalizaciones de
datos en cuestión de minutos.

· Escalabilidad

A medida que su negocio crezca, sus necesidades de datos también se expandirán.

Por lo tanto, la herramienta debe tener funciones de optimización del rendimiento,
como la optimización pushdown, para abordar sus crecientes necesidades
comerciales.

· Manejo de errores

La herramienta ETL debe ser capaz de manejar errores de manera eficiente,

asegurando la consistencia y precisión de los datos. Además, debe ofrecer
capacidades de transformación de datos fluidas y eficientes, asegurando una
pérdida de datos cero.

· Acceso a datos en tiempo real

Obtener datos en tiempo real se está volviendo imprescindible para las empresas
que buscan obtener información oportuna. Una herramienta ETL debe poder
acceder a los datos de las aplicaciones web en tiempo real para garantizar un
tiempo de comprensión más rápido.

· Monitoreo incorporado

La herramienta ETL debe venir con un monitoreo incorporado sistema que

proporciona actualizaciones en tiempo real sobre el progreso del trabajo, lo que
garantiza una ejecución fluida del proceso