BI COMO DEVE SER

O GUIA DEFINITIVO

Diego Elias Oliveira

Grimaldo Lopes de Oliveira 2ª edição
A Obra BI Como Deve Ser
é uma novidade no ramo de Business
Intelligence, pois toda a discussão
é centrada na explanação direta e
objetiva de como os profissionais de
tecnologia ou negócios podem inciar
um projeto de BI do zero.
Etapas de construção
corriqueiramente esquecidas em
projetos tradicionais (levantamento de
dados, carga de dados, metadatados
e etc.), obstáculos e problemas pouco
citados são abordados de uma forma
totalmente inovadora e com muitos
exemplos. Também são discutidos
assuntos como a ética com os dados
e a postura do profissional no trato de
informações sensíveis. O livro quebra
o paradigma de que a preocupação
em projetos de Business Intelligence
deve ser exclusivamente pensada na
persistência do banco de dados e sim
na qualidade da informação que será
apresentada aos decisores.
Com didática diferenciada
e linguagem clara, o livro
BI Como Deve Ser consegue
aproximar o conteúdo não só a área
de TI, como também a profissionais
da área de gestão de negócios.
A obra foi inspirada na experiência
dos seus autores nos mais diversos
desafios enfrentados no dia a dia
dos projetos de Business Intelligence,
mostrando de forma prática a
aplicação de diversos conceitos e a
implementação de uma solução de BI
do início ao fim.
BI
Como Deve Ser
O Guia Definitivo
Diego Elias
Especialização em Data Science, MBA
em Gestão da Informação e Business
Intelligence, e graduação em Ciência da
Computação. Atua profissionalmente
na área de BI, com experiências nas
áreas de Gestão da Informação, Data
Warehouse, Mineração de Dados (Data
Mining), Ciência de Dados (Data Science),
Processos, Projetos e Ferramentas de Apoio
à Tomada de Decisão. É consultor em BI,
redator de BI no CanalTech, fundador e
editor do site BI na Prática.

Grimaldo Oliveira
Mestre pela Universidade do Estado
da Bahia (UNEB) no curso de Mestrado
Profissional Gestão e Tecnologias Aplicadas
à Educação (GESTEC), especialista em
análise de sistemas e estatística pela
Universidade Federal da Bahia, professor
universitário de graduação e pós-
graduação na área de estatística e BI.
Desenvolveu projetos de BI nos governos
dos Estados da Bahia, Mato Grosso e
Maranhão, nos segmentos fiscal, tributário,
recursos humanos e sociais. Fundador e
editor do blog BI com Vatapá e do site
Aprenda Virtual.
Copyright © 2016, BI Como Deve Ser.

Todos os direitos reservados e protegidos pela Lei 9.610 de 19/02/1998.

É vedada a reprodução, distribuição ou transmissão, completa ou parcial, do

conteúdo deste livro digital por quaisquer que sejam os meios, sem a autorização
prévia, por escrito, dos autores desta obra.

Nota: Esse livro é baseado, principalmente, em experiências dos autores em

diversos projetos dos quais participaram. Os autores do livro não possuem
qualquer vínculo com as empresas, produtos e pessoas que porventura foram
citadas neste livro.

Oliveira, Grimaldo Lopes de

Oliveira, Diego Elias

BI Como Deve Ser – O Guia Definitivo. Salvador, 2016.

202f.

Contém referências e Apêndices.

1. Business Intelligence. 2. Data Warehouse. 3- Qualidade
dos Dados. 4- Levantamento de Dados e Informações. 5- Ética do
profissional de BI.

ISBN: 978-85-917946-3-8
SUMÁRIO
1] Introdução ao mundo do Business Intelligence 11
Entendendo o conceito
Por que utilizar BI?
Premissas básicas para o sucesso do BI
Dados e Informações: Qual a relação entre eles?
Arquitetura do BI: Estrutura e processo
A verdade por trás dos mitos

2] O profissional de BI 31
Caminhos à trilhar
Perspectiva, Perfil, Formação, Carreira e Ideais
A postura ética do profissional de BI

3] O Data Warehouse 44
A definição de Fatos e Dimensões
Entendendo a Modelagem Dimensional no DW
O Cubo e suas características
Operações básicas
Métricas e sua importância

4] Construindo uma solução de BI 68

Levantamento de requisitos com a Matriz de Necessidades
Mapeamento com a Fontes de Dados
ETL: A engrenagem dos dados
Dados sobre os dados, os Metadados

5] Ferramentas BI 110
6] Mineração de Dados 122
Padrão nos dados
Tarefas da Mineração de Dados
Ferramentas de Mineração
Mineração Visual de dados

7] Tendências 183
BI nas nuvens
O Big Data
As facetas do Big Data
Modismo ou Realidade?

8] A Ciências de Dados 195

As habilidades do cientista de dados

9] Glossário 200
 [BI Como Deve Ser]

AGRADECIMENTOS

GRIMALDO LOPES DE OLIVEIRA

Gostaria de dedicar este livro àqueles que diretamente e indiretamente

participaram desta construção. Aos meus colegas do primeiro projeto
de BI em Cuiabá, árduas noites de dúvidas e soluções, aos amigos do
projeto do BI do Maranhão amizade que nunca esquecerei. A minha
equipe extremamente competente da PRODEB, que criaram tantos
projetos vitoriosos para o cidadão da Bahia, contribuindo diariamente
na lapidação do meu diamante bruto que era saber tudo sobre a área
de Business Intelligence. Aos meus queridos pais Aderaldo e Maria
Zélia, que sempre me incentivaram ao conhecimento e aos bons
estudos. Ao amado Senhor do Bonfim que em todos os momentos
está junto a mim. E para sempre as minhas joias raras, aos meus
grandes amores Lucivalda (esposa) e Júlia (filha) sem vocês eu não teria
conseguido inspiração para escrever sobre a minha vida profissional.

DIEGO ELIAS OLIVEIRA

Agradeço primeiramente a Deus por permitir que esse sonho fosse

concretizado. Sem a Sua benção nada seria possível. Sua luz iluminou
meu caminho nessa jornada. Sou testemunha de que a fé realmente
“move montanhas”. A Ele meu agradecimento maior.

Também dedico esta obra à minha amada esposa Fernanda que

sempre acreditou e me apoiou durante minha trajetória profissional
e pessoal. Com seu amor e cumplicidade me acompanhou nos
momentos de conquistas e de dificuldades. Meu alicerce para
enfrentar todos os desafios. Me sinto grato e abençoado por ter sua
companhia e seu amor incondicional.

Aos meus filhos Felipe e Rafael, que me fornecem motivação e

inspiração para ir adiante e ultrapassar todos os obstáculos.

7
[BI Como Deve Ser]

À minha mãe Laudicea que me educou através de seu amor, sendo a

responsável pelo meu carácter e personalidade. Me ensinou através
do maior exemplo de vida, Jesus, que podemos alcançar tudo na vida
com ética, humildade, amor e respeito ao próximo. Sempre me fez
acreditar, e hoje posso comprovar, que a determinação e empenho
me fariam alcançar o sucesso.

Ao meu pai Elias por ser um dos responsáveis pelo homem que me
tornei. Agradeço os seus conselhos e carinho, além do seu suor e
trabalho que permitiram que eu pudesse sempre ter uma educação de
qualidade.

Aos meus irmãos Tiago e Lucas pelo exemplo de determinação a qual

me espelho e pela amizade que sempre pude contar. Por meio de suas
palavras, me incentivam, influenciam e inspiram o meu modo de vida,
baseadas na simplicidade e dignidade do espírito humano. Também
pelo amor, companheirismo e pela união sincera que fortalece cada vez
mais nossos laços fraternos.

Aos meus avós que com seus ensinamentos de vida tiveram grande
influência na formação de minha índole e conduta como cidadão.
Exemplos de humildade, singeleza e de fé em Deus.

A Grimaldo, que além de amigo, colega e parceiro neste livro, é um dos

responsáveis pelo meu ingresso no mundo do Business Intelligence.
Através de sua liderança exemplar, com postura confiável, ética e
inspiradora, pude aprender e me encantar com a área, tendo assim,
papel fundamental para a minha formação profissional. Desenvolver
esta obra, ao seu lado, foi uma grande honra para mim.

Agradeço também aos amigos, colegas, familiares, professores e

àqueles que direta ou indiretamente contribuíram para a conquista de
mais uma etapa em minha vida.

A todos vocês, meu muito obrigado!

8
 [BI Como Deve Ser]

PREFÁCIO
A rápida expansão dos sistemas computacionais, cada vez mais
inteligentes, aplicados às organizações de todos os tipos, vem gerando
novas questões em gerenciamento da informação.

Uma primeira questão é de natureza operacional. O processo de

informatização específico de cada organização incorpora ao ambiente
computacional, de modo não necessariamente coordenado, e ao longo
do tempo, partes dos processos e bases de dados convencionais
existentes. Com isso, aumentam as necessidades de integração
das informações dos vários sistemas, sem o que resultariam
comprometidos os processos decisórios que requerem uma visão
global do negócio.

Uma segunda questão é de natureza estratégica. Na medida em que

as informações relevantes da organização passam a ser armazenadas
e processadas em ambiente digital, tornam-se disponíveis para serem
correlacionadas e analisadas interativamente, permitindo a geração de
indicadores de enorme valor para a formulação e gestão da estratégia
corporativa.

A moderna literatura e a experiência prática de muitas organizações

sustentam que a abordagem da Business Intelligence (BI) constitui
uma ferramenta conceitual essencial para lidar com essas questões,
tanto no nível operacional quanto no nível estratégico. Por meio dessa
abordagem, é possível estabelecer um contexto de organização e
análise de informações de elevado valor para a gestão organizacional.
A utilização sistemática e planejada do BI ultrapassa ainda esses
resultados especificamente informacionais, pois desvela a necessidade
de reestruturações e adequações dos processos e estruturas
organizacionais.

9
[BI Como Deve Ser]

Este livro, além de tratar de um tema que tem intenso interesse para a
gestão organizacional, traz um diferencial incomum na literatura técnica
atual, pois aborda o BI com simplicidade e qualidade de comunicação,
mas sem diminuir em nada o alto rigor conceitual e técnico indispensável
a um tratamento profissional dos projetos nesta área.

Contribui, dessa forma, para superar as dificuldades inerentes a

um dos maiores desafios para a moderna gestão das organizações:
a integração das perspectivas dos gestores organizacionais e dos
técnicos em sistemas. Na medida em que as organizações tornam-
se, cada vez mais, complexos sistemas com dimensões humanas
e computacionais, é cada vez mais importante o tratamento das
questões organizacionais em uma linguagem e em um formato
igualmente compreensível para gestores e técnicos.

Tratando as questões conceituais e metodológicas sempre

relacionadas a contextos práticos de aplicação e uso, e utilizando
linguagem precisa, clara e ilustrada, o livro presta um enorme serviço
a esse precioso diálogo entre gestores e técnicos, em benefício da
construção do diálogo e de uma visão convergente, capaz de enfrentar
os desafios e explorar as enormes possibilidades do gerenciamento
avançado da informação nas organizações.

Sérgio Hage Fialho

Professor, Doutor e Mestre em Administração

Líder Grupo de Pesquisa em Educação, Aprendizagem Organizacional

e Inovação –UNIFACS/ LAUREATE INTERNATIONAL UNIVERSITIES

10
 [BI Como Deve Ser]

1INTRODUÇÃO
AO MUNDO
DO BUSINESS
INTELLIGENCE

11
[BI Como Deve Ser]

Bem-vindo à era da informação! Afinal de contas, você está aqui,

neste momento, exatamente por isso: IN-FOR-MA-ÇÃO. Estou certo?
Vivemos atualmente em um mundo em que a informação é o bem mais
valioso. Ela é a ponte para o conhecimento e a sabedoria.

Até o início do século passado, empresas focavam na produção de bens

materiais, e deles geravam seus lucros. O trabalho braçal era muito
valorizado, e a quantidade de bens produzidos era o melhor indicador
de que os negócios andavam bem. Qualidade e satisfação eram
aspectos pouco relevantes.

Com o tempo, as tendências e padrões de consumo se tornavam

fatores que geravam vantagem competitiva. A concorrência foi
aumentando, a exigência dos consumidores crescendo e a informação
tornou-se um dos principais alicerces para a decisão.

Faltavam então metodologias e conceitos que delineassem,

conceituassem e explicassem as formas de extrair essas informações e
de como utilizá-las da melhor forma possível para agregar valor para o
negócio. E é daí que, de muitos termos, surgiu um que particularmente

[
nos interessa: o Business Intelligence (BI).

Atualmente, a emergência do conceito de Business

Intelligence se explica pela crescente necessidade
das empresas em serem mais ágeis, eficientes,
[
eficazes e inteligentes. Tudo isso de forma rápida
e precisa.

A antiga reatividade das empresas, quando duravam dias ou

semanas para a obtenção de informações acerca de vendas,
marketing ou mercado, já não é mais sustentável. Quem insistir nesse
posicionamento está fadado ao fracasso. A globalização acelerada, na
qual convivemos, exige apreciação e correção de ações nos negócios de
maneira quase que imediata.

12
 [BI Como Deve Ser]

O embasamento através do feeling, apesar de ainda existente, tem

seus dias contados. Já não é concebível que, no atual cenário mundial,
executivos de corporações estipulem diretrizes através de achismos.
Tais decisões podem custar o futuro dessas organizações. A intuição é
subjetiva e passível de erros, necessitando de embasamento concreto e
respaldado.

A obra BI Como Deve Ser foi inspirada na experiência de seus autores

nos mais diversos desafios enfrentados no dia a dia dos projetos de
Business Intelligence. Este livro contém os obstáculos e problemas pouco
citados na literatura convencional, além de mostrar, de forma prática, a
aplicação de diversos conceitos e a implementação de uma solução de BI
do início ao fim.

A seguir, veremos mais sobre esse universo chamado BI

(pronuncia-se bi-ai).

ENTENDENDO O CONCEITO

Ultimamente, muito tem se falado sobre Business Intelligence. Às

vezes, algumas definições divergem tanto que é normal a confusão do
conceito entre as pessoas, incluindo até mesmo profissionais da área.
São diversas empresas de tecnologia que redefinem BI a todo instante
para torná-lo algo lucrativo para seus negócios.

Mas, para você, o que seria o BI? Um programa de computador, uma

tecnologia de mercado? Pois lhe digo de forma simples e direta: BI é
um conceito abstrato, onde estão envolvidas técnicas e ferramentas
que permitem a organização e análise das informações que suportam
a tomada de decisão. O conceito descreve as habilidades das
corporações para aceder a dados e explorar informações, analisá-las e
desenvolver percepções e entendimentos a respeito do seu negócio, o
que lhes permite incrementar e tornar mais pautada em informações a
necessária tomada de decisão.

13
[BI Como Deve Ser]

O termo do Business Intelligence foi criado, na década de 1980, pelo

Gartner Group que hoje o define como “um termo genérico que inclui
aplicações, infraestrutura, ferramentas e melhores práticas que
permitem o acesso e análise de informações para melhorar e otimizar
decisões e desempenho.”

Mas o certo é que o BI vai muito além das definições, pois se trata de
algo que dificilmente podemos limitar. Não é algo concreto, tangível.
É algo que se percebe através do valor agregado e do conhecimento
adquirido, ao invés de um simples conceito “fabricado”.

O BI engloba processos, pessoas, culturas, gestão da informação,

negócios e muitos outros aspectos. O importante é entender que o
propósito é simples e possui grande importância estratégica para
os negócios. Sua implementação, esta sim, requer um projeto bem
planejado e elaborado.

No final das contas, o BI tem a intenção de transformar o dado bruto

e sem organização em informações decisivas e valiosas para as
organizações. Essa é a visão macro da definição do Business Intelligence.

No decorrer desse livro, será desvelada para você, leitor, a essência do BI,
seus objetivos e a construção dessa poderosa solução do início ao fim.

POR QUE UTILIZAR BI?

O sistema de BI é um poderosíssimo recurso para medir os resultados

do negócio. Como diria Peter Drucker, “se você não pode medir, você não
pode gerenciar”, o que, de fato, é a mais pura verdade. Não podemos
inferir de forma precisa se não conseguirmos ao menos conceber,
medir e avaliar indicadores, não é verdade?

O BI é um recurso de gestão relativamente pouco utilizado pelas

empresas, pois estas desconhecem o grande potencial que a solução

14
 [BI Como Deve Ser]

proporciona. Além disso, o BI auxilia o progresso empresarial,

sugerindo uma cultura inovadora e proativa, que conduz a uma
reestruturação de processos organizacionais, garantindo assim uma
maior profissionalização das pessoas envolvidas.

Mas, então o que torna o BI pouco utilizado nas empresas hoje em

dia? Cito aqui dois dos principais problemas: barreira cultural e falta
de visão estratégica.

BARREIRA CULTURAL
Muitos gestores ainda se incomodam com a ideia de
ter que mudar as antigas maneiras de gerenciamento
e preferem seguir os próprios “instintos” e comandar
através de achismos e intuições. Outros ainda estão
enraizados a antigas formas de analisar seus negócios
através das temíveis planilhas eletrônicas, que
“formaram e formataram” as mentes dos gestores de
negócios pela crescente facilidade do “faça você mesmo
na sua máquina”, mas esqueceram que a pulverização
de planilhas nos Hard Disks iria lhes causar grandes
problemas para consolidá-las e gerenciá-las. Alguns têm
receio de que o BI seja seu substituto, e se fixam tanto
nisso, que esquecem que o BI é apenas um fio condutor
para os negócios e deixam de se capacitar para a nova
realidade desse novo mercado tão dinâmico. Isso se
chama comodismo.

FALTA DE VISÃO ESTRATÉGICA

Algumas empresas ainda não vislumbraram os benefícios
ou acreditam que BI é coisa do estrangeiro, de puro
modismo. Certa vez, um gestor de uma grande empresa
acreditava que BI era “coisa de gringo”. Mas, como
veremos, existem muitos mitos relacionados ao BI, e
certamente esse gestor acreditava que o BI seria apenas
um software e não um conceito muito mais abrangente.

15
[BI Como Deve Ser]

Hoje chamo de “gringo” todos aqueles gestores que não acreditam no

BI apenas por comodismo ou pela falta de visão. Ser “gringo” é muito
crítico nas empresas hoje em dia. É considerado um ponto fraco, que
pode acarretar em perdas inestimáveis para a organização, inclusive
sua extinção. Por isso, peço a você, querido leitor, não seja um “gringo”!

Aproveito para fazer um parêntese: Deixo claro que não tenho

preconceito algum contra os estrangeiros, muito pelo contrário. O termo
“gringo”, utilizado pelo gestor, trata da analogia de que grande parte
das novidades surgem no exterior e nem sempre se adaptam ao nosso
cotidiano. Utilizo aqui “gringo” apenas pela associação espontânea
devido a utilização do termo por um gestor em referência ao BI.

Alguém pode estar se questionando: “Esse cara ainda não me falou

porque que devo investir em BI.” Até aqui, muitos já conseguiram
visualizar enormes oportunidades, vantagens e benefícios, mesmo sem
se falar muito. Essas são pessoas que já conheciam ou já conseguiram
entender o verdadeiro potencial através do conceito. Gostaria, antes,
que fossem desmistificados vários conceitos e apresentadas as
diversas definições que possuímos em BI, para então listar mais alguns
motivos para adotarmos o BI profissionalmente no nosso dia a dia. E já
irei dizer, seja paciente.

Os motivos seguem em duas perspectivas: a da empresa e a do

profissional. A empresa visa essencialmente o lucro, e esse é seu
objetivo principal. Já o profissional busca, além de boa remuneração,
trabalhar em algo que realmente lhe traga satisfação. Veremos os dois.

Primeiramente, é bom listar os benefícios para as empresas.

Segue uma tabela com a listagem das vantagens e suas respectivas
justificativas:

16
 [BI Como Deve Ser]

EMPRESAS

BENEFÍCIOS JUSTIFICATIVA

Com o BI, as organizações possuem em mãos as

Tomada de decisão de
informações necessárias para a tomada de decisão
forma mais pautada
de forma mais precisa.

De forma indireta, a eficiente e eficaz maneira

de se tomar decisões com o BI permite a
Minimização de riscos
minimizações de riscos inerentes aos negócios e
core business das empresas.

Utilização de No BI existem fatos ocorridos. Não há margem

acontecimentos ao para uso de suposições e feelings de gestores. A
invés de achismos verdade está a um clique de distância.

Uma das grandes vantagens em uma solução

BI é a rapidez com que obtemos as informações
Velocidade nas repostas necessárias. Sistemas BI são modelados para
serem ágeis à medida que são requisitados pelos
usuários.

Com as informações do BI, podemos traçar padrões

Previsão através
e verificar tendências para o futuro. Desta forma,
das tendências
pode-se antecipar aos possíveis acontecimentos.

O BI permite a diminuição de custos em diversos

aspectos. Pode-se diminuir custos com a
menor complexidade de trabalhar com dados
e informações empresariais, além das análises
Diminuição de custos
do BI poderem informar onde os custos devem
ser otimizados, gerando efetividade nos gastos
e, consequentemente, redução de custos
inadequados.

Com o BI, podemos antecipar a concorrência e nos

preparar para as rápidas mudanças do mercado de
forma mais eficaz. Acompanhamento de vendas,
Aumento dos lucros
a tomada eficiente de decisões e todos os itens
acima relacionados visam direta (e indiretamente) à
progressão dos lucros.

17
[BI Como Deve Ser]

Agora, seguem os benefícios para os profissionais da área, ou os que

ainda pensam em ingressar:

PROFISSIONAIS

BENEFÍCIOS JUSTIFICATIVA

Os headhunters estão sedentos por um bom

Uma das áreas mais profissional da área de BI. Várias propostas são
valorizadas do momento feitas, com salários altíssimos, todos os dias em
busca destas pessoas.

É a lei da procura e da oferta. Altos salários são

Escassez de mão-de- oferecidos, devido também à escassez de mão-de-
obra obra qualificada na área. Logo, o profissional dessa
área tende a ser muito valorizado no mercado.

Como citado antes, a alta remuneração é um

grande atrativo na área. Profissionais iniciantes
Alta remuneração
na área já recebem ao equivalente ao nível
intermediário e sênior de outras áreas.

Aos que se interessam em respirar novos ares,

o BI permite ao profissional se integrar em
diversas áreas. Recursos humanos, financeiro,
contabilidade, estatística, marketing etc. Os
gestores não querem mais apenas o técnico na
Multidisciplinaridade
construção da solução BI e sim um verdadeiro
analista de BI, aquele que poderá ajudá-lo a
entender o próprio negócio. Pode parecer estranho,
mas é o que acontece e torna este profissional
ainda mais escasso e tão valorizado.

Vivenciei inúmeras implantações de BI em diversas empresas. Posso

garantir que nenhuma empresa que estabeleceu o BI teve prejuízo
ou arrependimentos. Pode parecer exagero, mas não é. Aliás, muitas
dessas empresas conseguiram retorno sobre o investimento no
primeiro mês de uso, quando conseguiram analisar problemas
gravíssimos de custos que não seriam percebidos sem a solução.

18
 [BI Como Deve Ser]

Muitas vezes, o profissional de BI é disputado e muito visado. Em

diversas reuniões gerenciais, seu nome é citado como a chave para as
dificuldades de busca por informações na organização. Sem dúvida, é
um profissional estratégico. Por isso a grande disputa no mercado para
obtenção desse especialista.

Posso dizer que, de todos os benefícios relacionados com a área, um

particularmente considero o mais importante: a satisfação (Achou
que eu iria dizer dinheiro, não é mesmo?). A remuneração é um fator
importante, admito, mas na vida não há nada melhor do que trabalhar
naquilo que você ama. E eu amo o que faço. Como diria Confúcio:
“Escolha um trabalho que você ame e nunca terá que trabalhar um único
dia em sua vida.”

PREMISSAS BÁSICAS PARA O SUCESSO DO BI

São muitas as perguntas para aqueles que desejam implantar BI.

Dúvidas e questionamentos que pairam sobre a cabeça do gestor e
que podem ser decisivos no êxito da solução. Uma dessas perguntas é
justamente o que é necessário para ter sucesso em um projeto de BI.
Quais são as premissas para se produzir um BI efetivo? Vejamos:

IDENTIFICAR OS STAKEHOLDERS
premissas

Antes de qualquer coisa, precisamos identificar nossos

interessados. Isso inclui patrocinador, usuários, setor de
TI, a área de negócios etc. Precisamos conhecê-los antes
de iniciar. Isso nos permitirá a criação de diretrizes para o
projeto. E o mais importante: identificando os stakeholders
será possível planejar a comunicação, melhorando assim
as relações e a participação de todos, minimizando assim
os “ruídos”.

19