Pipeline de Dados e BI — Lei do Bem (MCTI)
Desenvolvedora de Dados e BI
Sobre o Projeto
Projeto de engenharia e análise de dados desenvolvido para transformar dados públicos do MCTI sobre empresas beneficiárias da Lei do Bem em uma base estruturada, confiável e pronta para análise. O pipeline automatiza as etapas de tratamento e padronização dos dados, validação de registros, carga em PostgreSQL e criação de estruturas analíticas para exploração histórica e geográfica. Como etapa final, os dados são disponibilizados em um dashboard interativo desenvolvido com Streamlit, permitindo acompanhar indicadores como evolução anual, distribuição regional e permanência das empresas no programa. A base processada possui 22.049 registros e 6.464 empresas únicas, com validação de integridade em relação aos dados oficiais.
Desafios e Soluções
O principal desafio foi garantir a confiabilidade dos dados ao longo de todo o pipeline, desde a entrada dos arquivos brutos até a disponibilização das informações para análise. Foi necessário implementar regras de limpeza, validação e padronização, incluindo a validação de CNPJs, tratamento de registros nulos, normalização de estados e regiões e consolidação histórica das empresas. Outro ponto importante foi estruturar o banco de dados de forma que permitisse tanto o armazenamento histórico quanto análises consolidadas por empresa. Para garantir a integridade do resultado, foi desenvolvido um processo de auditoria capaz de realizar o batimento da base processada com os registros oficiais, alcançando 100% de correspondência nos 22.049 registros analisados. Por fim, a utilização de Docker permitiu padronizar o ambiente de execução, tornando o pipeline reprodutível e facilitando sua implantação.