[fix-pipelines] br_ms_sih

[folhesgabriel]

br_ms_sih

• No dia 18/06/2024 as materializações quebraram por falta de quota após a quebra de testes na tabela producao_ambulatorial. Hoje (19/06/2024) quebraram por erro nos testes.

servicos_profissionais

flow

erros
query utilizada para ver os erros

SELECT * FROM `basedosdados.elementary.elementary_test_results`
where schema_name = 'br_ms_sih' and table_name IN ('servicos_profissionais') and cast(created_at as string) like ('2024-06-19%')

• Teste incremental not_null falha com 15M de linhas null
• Teste incremental custom_relationships_br_ms_sih__servicos_profissionais_id_cid_principal falha por erro de sintaxe na declaração do teste no schema.yml

ignore_values deve ser uma lista não uma string única

aihs_reduzidas

• Versões 18 e 19 do flow rodaram em (19/06/2024)

• faltam meses 1 e 2 de 2024 no storage basedosdados-staging

• meses 3 e 4 estão com coluna id_aih inteiramente nulas

Tarefas para consertar os problemas

• PR para consertar erro da função dbf_to_parquet

• Rodar 2024-01 a 2024-05 em dev para aihs_reduzidas

• Rodar 2024-03 a 2024-05 em dev para servicos_profissionais

• Testar

• Modificar lógica incremental para materializar 2024 novamente

• Usar flow transfer_files to prod

• Materializar em prod

• Mudar lógica de materialização