Aqui você vai entender como criar um Dicionário de Dados! Mas, peraí… o que é isso e para quê eu preciso desse negócio?
O Dicionário de Dados é uma das ferramentas básicas da Governança de Dados. Ele funciona exatamente como um dicionário de línguas, só que ao invés de mostrar a definição de palavras, temos a definição dos nossos dados.
Então vamos entender mais na prática como funciona!
O Contexto do Dicionário de Dados
Você tem um banco de dados, ou até mesmo uma planilha de Excel onde você guarda informações que são atualizadas com certa periodicidade.
Uma pessoa nova chega na equipe e vai ser a responsável por atualizar esse conteúdo, que é sobre transações com fornecedores. Vamos chamá-lo de Rafael. Rafael está animado e quer mostrar que é um cara rápido e eficiente.
Ele se confere o arquivo que servirá como fonte de dados para o processo de integração dos dados, que será uma planilha Excel colocada no servidor e será copiada integralmente para uma tabela Oracle. A tarefa parece fácil.
A primeira coluna que ele deve preencher é:
Data
Rafael confere as informações e vê que as datas estão cadastradas no formato DD/MM/AAAA. Tudo ok.
Vamos para a próxima…
Nome_Fornecedor
Moleza, os nomes dos fornecedores estão escritos lá.
ID_Transacao
Rafael notou que todos os registros continham um código, porém alguns eram apenas letras e outros continham número e letras. De toda forma, tudo estava preenchido e era isso.
Valor_Unitario
Rafael conferiu alguns dos valores e a média estava correta. Ele verificou que os dados usavam a vírgula como separador (divide os centavos e o número inteiro). OK também!
Valor_Total
Rafael achou um pouco estranho que o separador dessa vez era um ponto. Mas, seguiu.
Moeda
Rafael notou que havia alguns registros nulos, enquanto outros constavam moedas estrangeiras. Ele assumiu que quando a moeda era “real”, o campo ficava vazio.
Com tudo verificado, Rafael colocou o arquivo revisado no servidor e esperou pelo processamento, feliz com sua primeira tarefa finalizada!
A Necessidade do Dicionário de Dados
Quão grande foi a surpresa do Rafael quando a equipe que controla o processamento de dados disse que os dados não puderam ser inseridos na tabela?
Rafael não entendeu nada e foi conversar com um colega da equipe que ficou responsável por ajudá-lo a se inteirar nos processos internos.
O colega deu uma rápida olhada no arquivo enviado e já percebeu o problema. Ele enviou o link para o Dicionário de Dados da tabela onde os dados seriam inseridos.
Gostou desta Ferramenta? Que tal conhecer outras?
Saiba mais sobre a Caixa de Ferramentas da Gestão e Governança de Dados!
Uso do Dicionário de Dados
Com o Dicionário de Dados em mãos, os dois foram comparar as informações do Dicionário com os dados do arquivo feito por Rafael.
O Dicionário de Dados é como uma documentação técnica dos objetos de dados, contendo informação quanto ao tipo definido para cada atributo, valores permitidos, a que tabelas ou outros objetos se relaciona, definição de negócio, classificação de sensitividade e/ou outros detalhes que sejam de interesse.
Rapidamente, os erros detectados foram:
Data
O atributo é definido como do tipo data e no formato DD/MM/AAAA. Sendo assim, o formato DD/MM/AA poderia oferecer problemas quando inserido na base de dados.
Nome_Fornecedor
Esta coluna estava definida como uma char (string ou varchar em outras bases de dados) com tamanho suficiente para comportar todos os nomes de Fornecedores do arquivo. Tudo certo aqui!
ID_Transacao
Já este atributo está definido como inteiro (integer). A parir do momento em que existiam letras no campos, o atributo torna-se uma string/varchar, o que a base de dados não está preparada para suportar.
Valor_Unitario
Este campo estava definido como decimal (number), permitindo a presença dos valores de centavos. Porém, a configuração aceita apenas o separador como ponto. Mais um problema aí.
Valor_Total
Da mesma forma que o Valor_Unitario, o tipo aceita valores decimais separados por ponto. Aqui estava tudo certo.
Moeda
Finalmente, para este campo, havia a descrição de que ele não pode ser nulo para evitar o Problema do Valor Nulo. Lembra que o Rafael notou que a moeda “real” não estava a ser preenchida? Ela obrigatoriamente deveria estar!
A Importância do Dicionário de Dados
Rafael não tinha o contexto de negócio e técnico dos processos internos por ser um integrante novo da equipe. Uma vista de olhos no Dicionário de Dados o ajudaria a compreender os critérios dos dados e do negócio rapidamente.
O Dicionário de Dados vai, na verdade, muito além de ser um apoio a pessoas novas na equipe.
Ele serve de referência para desenvolvedores, analistas e time de negócio para entender os requisitos mínimos e padrões esperados dos dados.
Desenvolvedores podem agilizar seu trabalho ao atualizar ou debugar processos existentes em que não tinham conhecimento prévio – ou até tinham, mas quem vai decorar todas essas informações!
Analistas de negócio podem verificar tabelas e objetos de dados relacionados a um determinado atributo e sua definição, ajudando a criar novas métricas e análises de interesse.
O Dicionário de Dados pode incluir valores/formatos aceitos, se o campo é uma chave primária ou estrangeiras, se nulos são permitidos, classificação de privacidade de dados e até mesmo um resumo da perfilagem dos dados (quantidade de valores distintos, nulos, etc).
Por fim, podemos ainda acompanhar a avaliação da Qualidade de Dados de cada coluna através das Dimensões de Qualidade de Dados.
Confira o ebook grautito: Guia Básico das Dimensões de Qualidade de Dados
E sim, você pode começar o seu Dicionário de Dados utilizando uma ferramenta tão simples quanto o Excel ou criar uma query no seu banco de dados.