Airflow — Orquestração de Pipelines (SES)
Orquestração de pipelines de dados para a Secretaria de Estado de Saúde (SES), automatizando fluxos de ingestão, transformação e disponibilização de dados epidemiológicos e administrativos.
Aviso de sigilo: Este projeto foi desenvolvido em ambiente institucional. Os dados sensíveis são preservados — as descrições refletem a estrutura e funcionalidade das soluções, não as informações dos sistemas.
Sobre o Projeto
O projeto contempla a automação de fluxos de ingestão, transformação e disponibilização de dados epidemiológicos e administrativos, garantindo confiabilidade, rastreabilidade e agendamento dos processos de forma visual e monitorada. Utilizando Apache Airflow 2.11 em ambiente de produção, as DAGs orquestram todo o ciclo de vida dos dados — desde a extração nas fontes até a disponibilização nas camadas analíticas. O ambiente inclui monitoramento contínuo, tratamento de erros com retentativas automáticas e logs centralizados para auditoria.
Tecnologias
Resultados
- Automação completa de pipelines de dados de saúde pública
- Rastreabilidade e auditoria de todos os fluxos de dados
- Agendamento visual e monitorado dos processos
Destaques Técnicos
- ▸DAGs com retry automático e tratamento de falhas
- ▸Orquestração de dados epidemiológicos em produção
- ▸Logs centralizados para auditoria
- ▸Monitoramento visual via Airflow UI