O Ciclo de Vida de Projetos de Dados pode variar dependendo do projeto e da equipe que irá desenvolvê-lo. Entretanto, alguns passos são essenciais para a concretização de um projeto de dados de sucesso.
Análise de Requisitos e Critérios de Aceitação
O primeiro passo no ciclo de vida de um projeto de dados é entender a necessidade e objetivos a serem atingidos com ele. Qual é a sua pergunta de negócio e o que você espera obter como resposta?
Nesse momento você deve pensar sobre suas fontes de dados e no formato final que você deseja que seus dados tenham.
Não esqueça de pensar nos usuários finais, afinal de contas, serão eles que trabalharão com esse produto de dados. Eles devem ser parte essencial na definição do produto final e ter o treinamento e conhecimento adequados para utilizá-lo da maneira mais eficiente possível.
Plano de Ação – Estratégia e Planejamento
Quando já estão claros os objetivos e produtos finais, é hora de definir a estratégia e o planejamento do projeto.
Como será o modelo de dados? Como os dados serão extraídos das fontes, e com que frequência isso acontece? Qual a frequência de atualização dos modelos finais? Quem terá acesso a esse produto e como essa procedimento de segurança será feito? Qual a estimativa de tempo por cada etapa do processo e quem será o responsável por cada uma?
Essas são algumas das perguntas a serem respondidas neste momento.
Ambientes
Os ambientes podem ser vistos como as etapas de desenvolvimento e teste até o momento final do ciclo de vida de um projeto de dados. Cada ambiente tem características e objetivos próprios.
O número de ambientes e a nomenclatura pode variar em cada organização. Não existe um único formato ou uma verdade única, pois cada organização é diferente e tem necessidades e recursos distintos.
Pela minha experiência, normalmente temos pelo menos 3 ambientes: um para desenvolvimento, um para testes/análise de qualidade e o de produção.
Ambiente de Desenvolvimento
Como o próprio nome diz, o desenvolvimento do modelo ou processo é realizado neste ambiente. Nessa etapa do ciclo de vida do projeto de dados, executamos as tarefas definidas no plano de ação para criar o modelo.
Dependendo da estrutura da organização, o desenvolvimento pode ser feito em uma conexão local, onde apenas o desenvolvedor tem acesso, e posteriormente importado aos outros ambientes, para que todos os desenvolvedores tenham acesso no futuro.
No ambiente de desenvolvimento são realizados testes de menor escala e, geralmente, com dados de teste. O resultado deve ser congruente com os critérios de aceitação e requisitos definidos. É importante notar que existem dados que requerem um tratamento maior na privacidade e seguridade dos mesmos. Deve-se atentar a este ponto quando os testes forem realizados ou os dados de teste criados.
Em muitas organizações, o desenvolvedor envia evidência dos resultados com dados de teste para aprovação do time de negócios.
Ambiente de Testes (Quality Assurance)
Antes do modelo ser enviado para o Ambiente de Testes, ele pode ser colocado em um Ambiente de Integração para verificar se a integração com versões anteriores pode ter sido impactada. Muitas organizações tratam o Ambiente de Testes como Ambiente de Integração.
Sendo assim, este é o primeiro passo para a verificar se um novo desenvolvimento mantem a integridade e compatibilidade com o restante do projeto, em um ambiente mais estável. Neste momento pode-se recolher evidências do funcionamento do processo como um todo.
Algumas pessoas da equipe recebem a tarefa de testar o desenvolvimento para avaliar a robustez do mesmo e como esse responderá, por exemplo, à inserção de dados errados, não recebimento de dados novos, o Problema do Valor Nulo, ou qualquer outra falha que possa acontecer.
Novamente, o caso da privacidade de dados deve ser um ponto de atenção.
Ambiente de Pré Produção
No ciclo de vida de projetos de dados, a ideia do ambiente de Pré-Produção é ser uma cópia do ambiente de Produção, ou seja, dos dados e de todo o ambiente utilizado no dia a dia pelos usuários finais.
Aqui, os testes costumam ser feitos por algum representante do usuário final. É importante que neste momento os testes sejam feitos por quem realmente irá utilizar o produto, realizando tarefas e rotinas que faria normalmente em uma análise.
Ambiente de Produção
Finalmente, chegamos ao ambiente de Produção! É neste ambiente em que os dados serão utilizados para análises e verificações diárias. A passagem por todos os ambientes é importante para que o novo desenvolvimento não impacto ou “quebre” os processos atuais.
Documentação
Ter uma documentação atualizada e detalhada é uma ferramenta essencial para um projeto de dados. É a partir da documentação que todos os envolvidos no projeto podem saber mais sobre o funcionamento do processo, suas limitações e detalhes. Também é importante para registrar atualizações e a justificação das escolhas feitas ao longo do projeto.
A documentação é aliada na resolução de problemas, identificar pontos de contato e para que novos integrantes da equipe tenham facilidade para se integrar com o projeto.
Monitoramento, revisão e manutenção
Mesmo realizando diversos testes e validações, ainda é possível que algum problema aconteça, novas necessidades surjam ou algum dos dados seja alterado. Por conta disso, e visando sempre manter e melhorar a performance de processos, é importante o monitoramento, revisão e manutenção dos projetos.
Todas as modificações devem ser atualizadas na documentação.