From 2441e38932f2c962a59c73e8ed13b47e95caf212 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Thu, 24 Oct 2024 10:37:54 -0300 Subject: [PATCH 1/6] Atualizar resultados_candidato com 2024 e colocar testes --- .../br_tse_eleicoes__resultados_candidato.sql | 4 ++-- models/br_tse_eleicoes/schema.yml | 20 ++++++++++++++++++- 2 files changed, 21 insertions(+), 3 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql index ea7549c6..6be9f640 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato.sql @@ -6,7 +6,7 @@ partition_by={ "field": "ano", "data_type": "int64", - "range": {"start": 1945, "end": 2022, "interval": 1}, + "range": {"start": 1945, "end": 2024, "interval": 1}, }, ) }} @@ -15,7 +15,7 @@ select safe_cast(turno as int64) turno, safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as string) data_eleicao, + safe_cast(data_eleicao as date) data_eleicao, safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, diff --git a/models/br_tse_eleicoes/schema.yml b/models/br_tse_eleicoes/schema.yml index b72411f2..5581732f 100644 --- a/models/br_tse_eleicoes/schema.yml +++ b/models/br_tse_eleicoes/schema.yml @@ -1174,7 +1174,7 @@ models: - numero_candidato - nome_candidato - not_null_proportion_multiple_columns: - at_least: 0.95 + at_least: 0.80 columns: - name: ano description: Ano @@ -1186,14 +1186,27 @@ models: description: Cargo - name: data_eleicao description: Data da eleição + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data - name: id_candidato_bd description: ID Candidato - Base dos Dados - name: id_eleicao description: ID Eleição - name: id_municipio description: ID Município - IBGE 7 Dígitos + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio - name: id_municipio_tse description: ID Município - TSE + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio_tse + ignore_values: ['73709'] - name: nome_candidato description: Nome do candidato - name: numero_candidato @@ -1208,6 +1221,11 @@ models: description: Sigla do partido - name: sigla_uf description: Sigla da unidade da federação + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + ignore_values: [GB, GP, RB] - name: tipo_eleicao description: Tipo da eleição - name: turno From 4e0812370eca7e2c3d80b778902ff63529ce82d4 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Fri, 25 Oct 2024 10:47:46 -0300 Subject: [PATCH 2/6] Atualizar br_tse_eleicoes__resultados_candidato_municipio e colocar testes --- ...eicoes__resultados_candidato_municipio.sql | 4 ++-- models/br_tse_eleicoes/schema.yml | 22 ++++++++++++++++++- 2 files changed, 23 insertions(+), 3 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql index b11e3dab..e6d6f982 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio.sql @@ -6,7 +6,7 @@ partition_by={ "field": "ano", "data_type": "int64", - "range": {"start": 1998, "end": 2022, "interval": 2}, + "range": {"start": 1994, "end": 2024, "interval": 2}, }, cluster_by=["sigla_uf"], ) @@ -16,7 +16,7 @@ select safe_cast(turno as int64) turno, safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as string) data_eleicao, + safe_cast(data_eleicao as date) data_eleicao, safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, diff --git a/models/br_tse_eleicoes/schema.yml b/models/br_tse_eleicoes/schema.yml index 5581732f..871cf6cd 100644 --- a/models/br_tse_eleicoes/schema.yml +++ b/models/br_tse_eleicoes/schema.yml @@ -1240,11 +1240,13 @@ models: - ano - turno - id_eleicao + - sigla_uf - id_municipio_tse + - cargo - sequencial_candidato - numero_candidato - not_null_proportion_multiple_columns: - at_least: 0.95 + at_least: 0.80 columns: - name: ano description: Ano @@ -1256,14 +1258,27 @@ models: description: Cargo - name: data_eleicao description: Data da eleição + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data - name: id_candidato_bd description: ID Candidato - Base dos Dados - name: id_eleicao description: ID Eleição - name: id_municipio description: ID Município - IBGE 7 Dígitos + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio - name: id_municipio_tse description: ID Município - TSE + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio_tse + ignore_values: ['73709'] - name: numero_candidato description: Número do candidato - name: numero_partido @@ -1276,6 +1291,11 @@ models: description: Sigla do partido - name: sigla_uf description: Sigla da unidade da federação + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + ignore_values: [GB, GP, RB] - name: tipo_eleicao description: Tipo da eleição - name: turno From 7dcbec382442c126ae6fe70a2f4e1f2b50946312 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Mon, 28 Oct 2024 10:37:11 -0300 Subject: [PATCH 3/6] Adicionar modelo resultados_candidato_municipio_zona e testes --- ...s__resultados_candidato_municipio_zona.sql | 6 ++--- models/br_tse_eleicoes/schema.yml | 22 ++++++++++++++++++- 2 files changed, 24 insertions(+), 4 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql index 76798436..b28b6185 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql @@ -6,7 +6,7 @@ partition_by={ "field": "ano", "data_type": "int64", - "range": {"start": 1998, "end": 2022, "interval": 2}, + "range": {"start": 1994, "end": 2024, "interval": 2}, }, cluster_by=["sigla_uf"], ) @@ -16,7 +16,7 @@ select safe_cast(turno as int64) turno, safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as string) data_eleicao, + safe_cast(data_eleicao as date) data_eleicao, safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, @@ -30,5 +30,5 @@ select safe_cast(resultado as string) resultado, safe_cast(votos as int64) votos from - `basedosdados-staging.br_tse_eleicoes_staging.resultados_candidato_municipio_zona` + `basedosdados-stating.br_tse_eleicoes_staging.resultados_candidato_municipio_zona` as t diff --git a/models/br_tse_eleicoes/schema.yml b/models/br_tse_eleicoes/schema.yml index 871cf6cd..739559f4 100644 --- a/models/br_tse_eleicoes/schema.yml +++ b/models/br_tse_eleicoes/schema.yml @@ -1310,12 +1310,14 @@ models: - ano - turno - id_eleicao + - sigla_uf - id_municipio_tse + - cargo - zona - sequencial_candidato - numero_candidato - not_null_proportion_multiple_columns: - at_least: 0.95 + at_least: 0.80 columns: - name: ano description: Ano @@ -1327,14 +1329,27 @@ models: description: Cargo - name: data_eleicao description: Data da eleição + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data - name: id_candidato_bd description: ID Candidato - Base dos Dados - name: id_eleicao description: ID Eleição - name: id_municipio description: ID Município - IBGE 7 Dígitos + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio - name: id_municipio_tse description: ID Município - TSE + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio_tse + ignore_values: ['73709'] - name: numero_candidato description: Número do candidato - name: numero_partido @@ -1347,6 +1362,11 @@ models: description: Sigla do partido - name: sigla_uf description: Sigla da unidade da federação + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + ignore_values: [GB, GP, RB] - name: tipo_eleicao description: Tipo da eleição - name: turno From 76a7d3fff345013e982ba4f62756aae8642a814c Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Mon, 28 Oct 2024 10:56:12 -0300 Subject: [PATCH 4/6] Adicionar br_tse_eleicoes__resultados_partido_municipio e testes --- ...tse_eleicoes__resultados_partido_municipio.sql | 6 +++--- models/br_tse_eleicoes/schema.yml | 15 ++++++++++++++- 2 files changed, 17 insertions(+), 4 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql index 5b13d924..ba230ce4 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql @@ -6,7 +6,7 @@ partition_by={ "field": "ano", "data_type": "int64", - "range": {"start": 1994, "end": 2022, "interval": 2}, + "range": {"start": 1994, "end": 2024, "interval": 2}, }, cluster_by=["sigla_uf"], ) @@ -17,7 +17,7 @@ select safe_cast(turno as int64) turno, safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as string) data_eleicao, + safe_cast(data_eleicao as date) data_eleicao, safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, @@ -26,4 +26,4 @@ select safe_cast(sigla_partido as string) sigla_partido, safe_cast(votos_nominais as int64) votos_nominais, safe_cast(votos_legenda as int64) votos_legenda -from `basedosdados-staging.br_tse_eleicoes_staging.resultados_partido_municipio` as t +from `basedosdados-dev.br_tse_eleicoes_staging.resultados_partido_municipio` as t diff --git a/models/br_tse_eleicoes/schema.yml b/models/br_tse_eleicoes/schema.yml index 739559f4..4783380e 100644 --- a/models/br_tse_eleicoes/schema.yml +++ b/models/br_tse_eleicoes/schema.yml @@ -1441,7 +1441,7 @@ models: - cargo - numero_partido - not_null_proportion_multiple_columns: - at_least: 0.95 + at_least: 0.90 columns: - name: ano description: Ano @@ -1453,12 +1453,25 @@ models: description: Cargo - name: data_eleicao description: Data da eleição + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data - name: id_eleicao description: ID Eleição - name: id_municipio description: ID Município - IBGE 7 Dígitos + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio - name: id_municipio_tse description: ID Município - TSE + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio_tse + ignore_values: ['73709'] - name: numero_partido description: Número do partido - name: sigla_partido From ee38a5c24b0878aa634875e48ee973079f8b51c0 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Mon, 28 Oct 2024 11:31:25 -0300 Subject: [PATCH 5/6] Adicionar modelos resultados_partido_municipio e resultados_partido_municipio_zona, junto testes --- ...eleicoes__resultados_partido_municipio.sql | 2 +- ...oes__resultados_partido_municipio_zona.sql | 4 +-- models/br_tse_eleicoes/schema.yml | 25 ++++++++++++++++++- 3 files changed, 27 insertions(+), 4 deletions(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql index ba230ce4..f93eb9fd 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio.sql @@ -26,4 +26,4 @@ select safe_cast(sigla_partido as string) sigla_partido, safe_cast(votos_nominais as int64) votos_nominais, safe_cast(votos_legenda as int64) votos_legenda -from `basedosdados-dev.br_tse_eleicoes_staging.resultados_partido_municipio` as t +from `basedosdados-staging.br_tse_eleicoes_staging.resultados_partido_municipio` as t diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql index 4dfa9e05..16fe21e2 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_partido_municipio_zona.sql @@ -6,7 +6,7 @@ partition_by={ "field": "ano", "data_type": "int64", - "range": {"start": 1994, "end": 2022, "interval": 2}, + "range": {"start": 1994, "end": 2024, "interval": 2}, }, cluster_by=["sigla_uf"], ) @@ -17,7 +17,7 @@ select safe_cast(turno as int64) turno, safe_cast(id_eleicao as string) id_eleicao, safe_cast(tipo_eleicao as string) tipo_eleicao, - safe_cast(data_eleicao as string) data_eleicao, + safe_cast(data_eleicao as date) data_eleicao, safe_cast(sigla_uf as string) sigla_uf, safe_cast(id_municipio as string) id_municipio, safe_cast(id_municipio_tse as string) id_municipio_tse, diff --git a/models/br_tse_eleicoes/schema.yml b/models/br_tse_eleicoes/schema.yml index 4783380e..a4a2015b 100644 --- a/models/br_tse_eleicoes/schema.yml +++ b/models/br_tse_eleicoes/schema.yml @@ -1478,6 +1478,11 @@ models: description: Sigla do partido - name: sigla_uf description: Sigla da unidade da federação + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + ignore_values: [GB, GP, RB] - name: tipo_eleicao description: Tipo da eleição - name: turno @@ -1499,7 +1504,7 @@ models: - cargo - numero_partido - not_null_proportion_multiple_columns: - at_least: 0.95 + at_least: 0.90 columns: - name: ano description: Ano @@ -1511,18 +1516,36 @@ models: description: Cargo - name: data_eleicao description: Data da eleição + tests: + - relationships: + to: ref('br_bd_diretorios_data_tempo__data') + field: data.data - name: id_eleicao description: ID Eleição - name: id_municipio description: ID Município - IBGE 7 Dígitos + tests: + - relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio - name: id_municipio_tse description: ID Município - TSE + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__municipio') + field: id_municipio_tse + ignore_values: ['73709'] - name: numero_partido description: Número do partido - name: sigla_partido description: Sigla do partido - name: sigla_uf description: Sigla da unidade da federação + tests: + - custom_relationships: + to: ref('br_bd_diretorios_brasil__uf') + field: sigla + ignore_values: [GB, GP, RB] - name: tipo_eleicao description: Tipo da eleição - name: turno From 9eaeae19cfe3e808d818317a65212f904e9aabe9 Mon Sep 17 00:00:00 2001 From: Luiz Eduardo Date: Tue, 29 Oct 2024 13:45:40 -0300 Subject: [PATCH 6/6] Pequenos Ajustes --- .../br_tse_eleicoes__resultados_candidato_municipio_zona.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql index b28b6185..b2b14d25 100644 --- a/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql +++ b/models/br_tse_eleicoes/br_tse_eleicoes__resultados_candidato_municipio_zona.sql @@ -30,5 +30,5 @@ select safe_cast(resultado as string) resultado, safe_cast(votos as int64) votos from - `basedosdados-stating.br_tse_eleicoes_staging.resultados_candidato_municipio_zona` + `basedosdados-staging.br_tse_eleicoes_staging.resultados_candidato_municipio_zona` as t