Merge branch 'main' into staging/fix_comex_stat

basedosdados · Jun 13, 2024 · 2b9c7da · 2b9c7da
2 parents 9eaf24e + 03480e1
commit 2b9c7da
Show file tree

Hide file tree

Showing 3 changed files with 67 additions and 26 deletions.
diff --git a/models/br_bcb_agencia/br_bcb_agencia__agencia.sql b/models/br_bcb_agencia/br_bcb_agencia__agencia.sql
@@ -6,7 +6,7 @@
         partition_by={
             "field": "ano",
             "data_type": "int64",
-            "range": {"start": 2007, "end": 2024, "interval": 1},
+            "range": {"start": 2007, "end": 2025, "interval": 1},
         },
         pre_hook="DROP ALL ROW ACCESS POLICIES ON {{ this }}",
         post_hook=[
@@ -201,6 +201,10 @@ with
             ano,
             mes
         from `basedosdados-staging.br_bcb_agencia_staging.agencia` as t
+        -- os arquivos mensais possuem cabeçalhos e rodapés que variam de posição;
+        -- Este filtro remove linhas com valores inteiramente
+        -- nulos
+        where fone != '00000nan'
     )
 
 select
@@ -225,6 +229,8 @@ select
 from wrang_data
 {% if is_incremental() %}
     where
-        date(cast(ano as int64), cast(mes as int64), 1)
-        > (select max(date(cast(ano as int64), cast(mes as int64), 1)) from {{ this }})
+        date(cast(ano as int64), cast(mes as int64), 1) not in (
+            select distinct (date(cast(ano as int64), cast(mes as int64), 1))
+            from {{ this }}
+        )
 {% endif %}
diff --git a/models/br_bcb_agencia/schema.yml b/models/br_bcb_agencia/schema.yml
@@ -7,29 +7,53 @@ models:
     tests:
       - dbt_utils.unique_combination_of_columns:
           combination_of_columns: [ano, mes, cnpj]
-      - not_null_proportion_multiple_columns:
-          at_least: 0.05
+          config:
+            where: __most_recent_year_month__
     columns:
       - name: ano
         description: Ano
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__data')
+              field: ano
+              config:
+                where: __most_recent_year_month__
       - name: mes
         description: Mês
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_data_tempo__data')
+              field: mes
+              config:
+                where: __most_recent_year_month__
       - name: sigla_uf
         description: Sigla da Unidade da Federação
+        tests:
+          - dbt_utils.not_null_proportion:
+              at_least: 0.95
+              config:
+                where: __most_recent_year_month__
       - name: id_municipio
         description: ID Município - IBGE 7 Dígitos
         tests:
           - relationships:
               to: ref('br_bd_diretorios_brasil__municipio')
               field: id_municipio
+              config:
+                where: __most_recent_year_month__
+          - dbt_utils.not_null_proportion:
+              at_least: 0.95
+              config:
+                where: __most_recent_year_month__
       - name: data_inicio
         description: Data de criação da agência
       - name: cnpj
         description: Cadastro Nacional de Pessoa Júridica (CNPJ)
         tests:
-          - relationships:
-              to: ref('br_bd_diretorios_brasil__empresa')
-              field: cnpj
+          - dbt_utils.not_null_proportion:
+              at_least: 0.95
+              config:
+                where: __most_recent_year_month__
       - name: nome_agencia
         description: Nome da Agência
       - name: instituicao
@@ -45,9 +69,16 @@ models:
       - name: cep
         description: CEP
         tests:
-          - relationships:
+          - custom_relationships:
               to: ref('br_bd_diretorios_brasil__cep')
               field: cep.cep
+              proportion_allowed_failures: 20
+              config:
+                where: __most_recent_year_month__
+          - dbt_utils.not_null_proportion:
+              at_least: 0.95
+              config:
+                where: __most_recent_year_month__
       - name: endereco
         description: endereço da agência
       - name: complemento

diff --git a/models/br_ibge_censo_2022/schema.yml b/models/br_ibge_censo_2022/schema.yml
@@ -1216,17 +1216,18 @@ models:
       - name: razao_sexo_populacao_indigena
         description: Razão de sexo da população indígena residente em terras indígenas
   - name: br_ibge_censo_2022__indigenas_populacao_alfabetizada_grupo_idade_municipio
-    description: Tabela 8180 - Pessoas indígenas de 15 anos ou mais de idade, total e as alfabetizadas, por sexo e grupos de idade
+    description: Tabela 8180 - Pessoas indígenas de 15 anos ou mais de idade, total
+      e as alfabetizadas, por sexo e grupos de idade
     tests:
       - not_null_proportion_multiple_columns:
-            at_least: 0.95
+          at_least: 0.95
     columns:
       - name: id_municipio
         description: ID Município IBGE 7 dígitos
         tests:
           - relationships:
-                to: ref('br_bd_diretorios_brasil__municipio')
-                field: id_municipio
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: sexo
         description: Sexo
       - name: grupo_idade
@@ -1236,17 +1237,18 @@ models:
       - name: populacao_indigena
         description: Pessoas indígenas de 15 anos ou mais de idade
   - name: br_ibge_censo_2022__populacao_alfabetizada_cor_raca_grupo_idade_municipio
-    description: Tabela 9542 - Pessoas de 15 anos ou mais de idade, total e as alfabetizadas, por sexo, cor ou raça e grupos de idade
+    description: Tabela 9542 - Pessoas de 15 anos ou mais de idade, total e as alfabetizadas,
+      por sexo, cor ou raça e grupos de idade
     tests:
       - not_null_proportion_multiple_columns:
-            at_least: 0.95
+          at_least: 0.95
     columns:
       - name: id_municipio
         description: ID Município IBGE 7 dígitos
         tests:
           - relationships:
-                to: ref('br_bd_diretorios_brasil__municipio')
-                field: id_municipio
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: cor_raca
         description: Cor ou raça
       - name: sexo
@@ -1258,17 +1260,18 @@ models:
       - name: populacao
         description: 'Pessoas de 15 anos ou mais de idade '
   - name: br_ibge_censo_2022__taxa_alfabetizacao_cor_raca_grupo_idade_municipio
-    description: Tabela 9543 - Taxa de alfabetização das pessoas de 15 anos ou mais de idade por sexo, cor ou raça e grupos de idade
+    description: Tabela 9543 - Taxa de alfabetização das pessoas de 15 anos ou mais
+      de idade por sexo, cor ou raça e grupos de idade
     tests:
       - not_null_proportion_multiple_columns:
-            at_least: 0.95
+          at_least: 0.95
     columns:
       - name: id_municipio
         description: ID Município IBGE 7 dígitos
         tests:
           - relationships:
-                to: ref('br_bd_diretorios_brasil__municipio')
-                field: id_municipio
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: cor_raca
         description: Cor ou raça
       - name: sexo
@@ -1278,21 +1281,22 @@ models:
       - name: taxa_alfabetizacao
         description: Taxa de alfabetização das pessoas de 15 anos ou mais de idade
   - name: br_ibge_censo_2022__indigenas_taxa_alfabetizacao_grupo_idade_municipio
-    description: Tabela 8181 - Taxa de alfabetização das pessoas indígenas de 15 anos ou mais de idade por sexo e grupos de idade
+    description: Tabela 8181 - Taxa de alfabetização das pessoas indígenas de 15 anos
+      ou mais de idade por sexo e grupos de idade
     tests:
       - not_null_proportion_multiple_columns:
-            at_least: 0.95
+          at_least: 0.95
     columns:
       - name: id_municipio
         description: ID Município IBGE 7 dígitos
         tests:
           - relationships:
-                to: ref('br_bd_diretorios_brasil__municipio')
-                field: id_municipio
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: sexo
         description: Sexo
       - name: grupo_idade
         description: Grupo de Idade
       - name: taxa_alfabetizacao
         description: Taxa de alfabetização das pessoas indígenas de 15 anos ou mais
-            de idade
+          de idade