Merge pull request #763 from basedosdados/staging/br_tse_eleicoes

 [update]br_tse_eleicoes - tests cnae

models/br_tse_eleicoes/br_tse_eleicoes__despesas_candidato.sql

@@ -49,6 +49,16 @@ select
     safe_cast(nome_fornecedor as string) nome_fornecedor,
     safe_cast(nome_fornecedor_rf as string) nome_fornecedor_rf,
     safe_cast(cnae_2_fornecedor as string) cnae_2_fornecedor,
+    case
+        when length(cnae_2_fornecedor) = 5
+        then safe_cast(cnae_2_fornecedor as string)
+        else null
+    end as cnae_2_fornecedor_classe,
+    case
+        when length(cnae_2_fornecedor) = 7
+        then safe_cast(cnae_2_fornecedor as string)
+        else null
+    end as cnae_2_fornecedor_subclasse,
     safe_cast(descricao_cnae_2_fornecedor as string) descricao_cnae_2_fornecedor,
     safe_cast(tipo_fornecedor as string) tipo_fornecedor,
     safe_cast(esfera_partidaria_fornecedor as string) esfera_partidaria_fornecedor,

models/br_tse_eleicoes/br_tse_eleicoes__receitas_candidato.sql

@@ -53,6 +53,12 @@ select
     safe_cast(esfera_partidaria_doador as string) esfera_partidaria_doador,
     safe_cast(numero_candidato_doador as string) numero_candidato_doador,
     safe_cast(cnae_2_doador as string) cnae_2_doador,
+    case
+        when length(cnae_2_doador) = 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_classe,
+    case
+        when length(cnae_2_doador) > 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_subclasse,
     safe_cast(descricao_cnae_2_doador as string) descricao_cnae_2_doador,
     safe_cast(cpf_cnpj_doador_orig as string) cpf_cnpj_doador_orig,
     safe_cast(nome_doador_orig as string) nome_doador_orig,

models/br_tse_eleicoes/br_tse_eleicoes__receitas_comite.sql

@@ -10,6 +10,7 @@
         },
     )
 }}
+
 select
     safe_cast(ano as int64) ano,
     safe_cast(sigla_uf as string) sigla_uf,
@@ -38,6 +39,12 @@ select
     safe_cast(numero_partido_doador as string) numero_partido_doador,
     safe_cast(numero_candidato_doador as string) numero_candidato_doador,
     safe_cast(cnae_2_doador as string) cnae_2_doador,
+    case
+        when length(cnae_2_doador) = 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_classe,
+    case
+        when length(cnae_2_doador) > 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_subclasse,
     safe_cast(descricao_cnae_2_doador as string) descricao_cnae_2_doador,
     safe_cast(cpf_cnpj_doador_orig as string) cpf_cnpj_doador_orig,
     safe_cast(nome_doador_orig as string) nome_doador_orig,

models/br_tse_eleicoes/br_tse_eleicoes__receitas_orgao_partidario.sql

@@ -10,6 +10,7 @@
         },
     )
 }}
+
 select
     safe_cast(ano as int64) ano,
     safe_cast(sigla_uf_diretorio as string) sigla_uf,
@@ -37,6 +38,12 @@ select
     safe_cast(descricao_receita as string) descricao_receita,
     safe_cast(sequencial_receita as string) sequencial_receita,
     safe_cast(cnae_2_doador as string) cnae_2_doador,
+    case
+        when length(cnae_2_doador) = 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_classe,
+    case
+        when length(cnae_2_doador) > 5 then safe_cast(cnae_2_doador as string) else null
+    end as cnae_2_doador_subclasse,
     safe_cast(descricao_cnae_2_doador as string) descricao_cnae_2_doador,
     safe_cast(cpf_cnpj_doador as string) cpf_cnpj_doador,
     safe_cast(nome_doador as string) nome_doador,

models/br_tse_eleicoes/schema.yml

@@ -146,6 +146,10 @@ models:
               field: sigla
       - name: sigla_uf_nascimento
         description: Sigla da unidade da federação de nascimento
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__uf')
+              field: sigla
       - name: situacao
         description: Situação
       - name: tipo_eleicao
@@ -167,6 +171,18 @@ models:
         description: Cargo do fornecedor
       - name: cnae_2_fornecedor
         description: Classificação Nacional de Atividades Econômicas 2.0 do fornecedor
+      - name: cnae_2_fornecedor_classe
+        description: Classe da CNAE
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: classe
+      - name: cnae_2_fornecedor_subclasse
+        description: Subclasse da Classificação de Atividades Econômicas (CNAE)
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: subclasse
       - name: cnpj_candidato
         description: CNPJ do candidato
       - name: cnpj_prestador_contas
@@ -179,6 +195,20 @@ models:
         description: CPF do vice ou suplente
       - name: data_despesa
         description: Data da despesa
+        tests:
+          - custom_relationships:
+              to: ref('br_bd_diretorios_data_tempo__data')
+              field: data.data
+              ignore_values:
+                - '8200-02-20'
+                - '8008-09-05'
+                - '8200-08-02'
+                - '6200-09-06'
+                - '6200-09-30'
+                - '7200-08-21'
+                - '8006-09-29'
+                - '9200-05-05'
+                - '5919-11-11'
       - name: data_eleicao
         description: Data da eleição
         tests:
@@ -723,6 +753,18 @@ models:
         description: Cargo do candidato doador
       - name: cnae_2_doador
         description: Classificação Nacional de Atividades Econômicas 2.0 do doador
+      - name: cnae_2_doador_classe
+        description: Classe da CNAE
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: classe
+      - name: cnae_2_doador_subclasse
+        description: Subclasse da Classificação de Atividades Econômicas (CNAE)
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: subclasse
       - name: cnpj_candidato
         description: CNPJ do candidato
       - name: cnpj_prestador_contas
@@ -863,9 +905,6 @@ models:
         description: Valor da receita
   - name: br_tse_eleicoes__receitas_comite
     description: Receitas de comitês eleitorais
-    tests:
-      - not_null_proportion_multiple_columns:
-          at_least: 0.95
     columns:
       - name: ano
         description: Ano
@@ -875,10 +914,18 @@ models:
               field: ano.ano
       - name: cnae_2_doador
         description: CNAE 2 do Doador
+      - name: cnae_2_doador_classe
+        description: Classe da CNAE
         tests:
           - relationships:
               to: ref('br_bd_diretorios_brasil__cnae_2')
-              field: cnae_2.cnae_2
+              field: classe
+      - name: cnae_2_doador_subclasse
+        description: Subclasse da Classificação de Atividades Econômicas (CNAE)
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: subclasse
       - name: cnpj_prestador_contas
         description: CNPJ do prestador de contas
       - name: cpf_cnpj_doador
@@ -890,9 +937,10 @@ models:
       - name: data_receita
         description: Data da receita
         tests:
-          - relationships:
+          - custom_relationships:
               to: ref('br_bd_diretorios_data_tempo__data')
               field: data.data
+              ignore_values: ['8200-10-01']
       - name: descricao_cnae_2_doador
         description: Descrição da Classificação Nacional de Atividades Econômicas
           2.0 do doador
@@ -905,8 +953,17 @@ models:
         description: Fonte da receita
       - name: id_municipio
         description: ID Município - IBGE 7 Dígitos
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: id_municipio_tse
         description: ID Município - Tribunal Superior Eleitoral (TSE)
+        tests:
+          - custom_relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio_tse
+              ignore_values: ['73709']
       - name: natureza_receita
         description: Natureza da receita
       - name: nome_doador
@@ -935,8 +992,17 @@ models:
         description: Sigla do partido
       - name: sigla_uf
         description: Sigla da unidade da federação
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__uf')
+              field: sigla
       - name: sigla_uf_doador
         description: Sigla da unidade da federação do doador
+        tests:
+          - custom_relationships:
+              to: ref('br_bd_diretorios_brasil__uf')
+              field: sigla
+              ignore_values: ['02550', '71072', '13897', '41238', '09210', '86614']
       - name: situacao_receita
         description: Situação da receita
       - name: tipo_comite
@@ -951,9 +1017,6 @@ models:
         description: Valor da receita
   - name: br_tse_eleicoes__receitas_orgao_partidario
     description: Receitas de Órgãos Partidários
-    tests:
-      - not_null_proportion_multiple_columns:
-          at_least: 0.95
     columns:
       - name: ano
         description: Ano
@@ -965,10 +1028,18 @@ models:
         description: Cargo do candidato doador
       - name: cnae_2_doador
         description: Classificação Nacional de Atividades Econômicas 2.0 do doador
+      - name: cnae_2_doador_classe
+        description: Classe da CNAE
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__cnae_2')
+              field: classe
+      - name: cnae_2_doador_subclasse
+        description: Subclasse da Classificação de Atividades Econômicas (CNAE)
         tests:
           - relationships:
               to: ref('br_bd_diretorios_brasil__cnae_2')
-              field: cnae_2.cnae_2
+              field: subclasse
       - name: cnpj_prestador_contas
         description: CNPJ do prestador de contas
       - name: cpf_cnpj_doador
@@ -1001,12 +1072,30 @@ models:
         description: Fonte da receita
       - name: id_municipio
         description: ID Município IBGE 7 Dígitos do diretório
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: id_municipio_doador
         description: ID Município do doador - IBGE
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio
       - name: id_municipio_tse
         description: ID Municipio TSE do diretório
+        tests:
+          - custom_relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio_tse
+              ignore_values: ['73709']
       - name: id_municipio_tse_doador
         description: ID Município do doador - TSE
+        tests:
+          - custom_relationships:
+              to: ref('br_bd_diretorios_brasil__municipio')
+              field: id_municipio_tse
+              ignore_values: ['73709']
       - name: natureza_receita
         description: Natureza da receita
       - name: nome_doador
@@ -1051,6 +1140,10 @@ models:
         description: Sigla do partido do doador
       - name: sigla_uf
         description: Sigla da unidade da federação
+        tests:
+          - relationships:
+              to: ref('br_bd_diretorios_brasil__uf')
+              field: sigla
       - name: sigla_uf_doador
         description: Sigla da unidade da federação do doador
       - name: tipo_diretorio