Pipeline End-to-End — Fila On Time (SES)
Pipeline completo para monitoramento de indicadores de tempo de espera em filas de atendimento da SES, integrando extração, transformação via dbt e 16 painéis de regulação médica em Power BI.
Aviso de sigilo: Este projeto foi desenvolvido em ambiente institucional. Os dados sensíveis são preservados — as descrições refletem a estrutura e funcionalidade das soluções, não as informações dos sistemas.
Sobre o Projeto
Pipeline end-to-end para monitoramento de indicadores de tempo de espera em filas de atendimento da SES, com foco em condições como bronquiolite e outros agravos com metas de atendimento reguladas. A DAG orquestra desde a validação de conexões até o monitoramento estatístico via SPC, passando pela extração paralela, transformação em 16+ modelos dbt e geração dos painéis de regulação médica. O pipeline processa 150–200k registros por execução com agendamento a cada 5 minutos, garantindo dados sempre atualizados para os gestores de saúde.
Volumes Típicos
- ▸raw.ser_on_time: ~150–200k registros · janela de 4 meses
- ▸raw.ser_on_time_gar: ~50–80k registros · janela de 3 meses
Tecnologias
Estrutura do Pipeline
| Etapa | Tasks | Paralelismo | Função |
|---|---|---|---|
| Validação | validate_database_connections | — | Valida conexões com SES Produção e BI Dev |
| Extração | processar_dados + processar_dados_gar | Paralelo | Extrai dados via OPENQUERY da origem |
| Staging | stg_ser_on_time + stg_ser_on_time_gar | Paralelo | Modelos dbt no schema staging |
| Painéis | 16 modelos dbt (UTI, Cardiologia, Infectologia, Especialidades) | Paralelo entre si | Schema paineis |
| KPI | 3 modelos dbt (dashboard_solicitacoes, qtd_por_painel, solicitacoes_hoje_por_painel) | Paralelo entre si | Schema kpi |
| Relatório | relatorio_final | — | Consolida contagens de todas as tabelas via XComs |
| SPC | verificar_spc_volume | Non-blocking | Monitora volume dos painéis; alerta por e-mail em caso de anomalia |
Resultados
- Monitoramento em tempo real de 16 painéis de regulação médica
- Processamento de 150–200k registros a cada 5 minutos
- Alertas automáticos por e-mail em caso de anomalia de volume
Destaques Técnicos
- ▸Extração paralela de múltiplas origens via OPENQUERY
- ▸16 modelos dbt em paralelo (UTI, Cardiologia, Infectologia)
- ▸SPC (Controle Estatístico de Processo) como task non-blocking
- ▸Relatório consolidado via XComs ao final de cada execução