Monitoramento de Pipelines com SPC
DAG de observabilidade que aplica Controle Estatístico de Processo (SPC) sobre todos os pipelines em produção, gerando alertas imediatos e relatórios diários consolidados por e-mail.
Aviso de sigilo: Este projeto foi desenvolvido em ambiente institucional. Os dados sensíveis são preservados — as descrições refletem a estrutura e funcionalidade das soluções, não as informações dos sistemas.
Sobre o Projeto
DAG de observabilidade que roda diariamente monitorando a saúde estatística de todas as outras DAGs em produção. Aplica Controle Estatístico de Processo (SPC) sobre os volumes e métricas das pipelines, gerando um e-mail diário consolidado com o status de cada processo. Em caso de desvio estatístico significativo — anomalia de volume, falha recorrente ou comportamento fora dos limites de controle — o alerta é disparado imediatamente, antes mesmo do envio do relatório diário. Isso garante visibilidade contínua sobre a confiabilidade do ambiente de dados em produção.
Tecnologias
Resultados
- Detecção proativa de anomalias em todos os pipelines de produção
- Alertas imediatos antes do relatório diário em caso de desvio
- Visibilidade estatística contínua do ambiente de dados
Destaques Técnicos
- ▸Limites de controle calculados via SPC (3-sigma)
- ▸Alertas por e-mail antes do relatório diário em desvios críticos
- ▸Execução diária com relatório consolidado de todas as DAGs
- ▸Não bloqueia as pipelines monitoradas (non-blocking)