From 316ae9427a0e7215bfe26820dfe8c8fa3db5eb7c Mon Sep 17 00:00:00 2001
From: Laura Amaral <laura.amaral@basedosdados.org>
Date: Fri, 28 Jul 2023 09:34:04 -0300
Subject: [PATCH 1/4] add updated tables

---
 dbt_project.yml                               | 25 +++---
 .../brasileirao_serie_a.sql                   | 13 +--
 .../brasileirao_serie_a_atualizado.sql        | 54 ++++++++++++
 .../schema.yml                                | 86 ++++++++++++++++++-
 4 files changed, 157 insertions(+), 21 deletions(-)
 create mode 100644 models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql

diff --git a/dbt_project.yml b/dbt_project.yml
index 53619bef..7247662b 100644
--- a/dbt_project.yml
+++ b/dbt_project.yml
@@ -112,6 +112,15 @@ models:
     br_me_comex_stat:
       +materialized: table
       +schema: br_me_comex_stat
+    br_mercadolivre_ofertas:
+      +materialized: table
+      +schema: br_mercadolivre_ofertas
+      +post-hook: 
+        - 'REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"'
+        - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'
+    br_ms_cnes:
+      +materialized: table
+      +schema: br_ms_cnes
     br_ons_avaliacao_operacao:
       +materialized: table
       +schema: br_ons_avaliacao_operacao
@@ -151,21 +160,7 @@ models:
     mundo_transfermarkt_competicoes:
       +materialized: table
       +schema: mundo_transfermarkt_competicoes
-      +post-hook:
-        - 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter 
-                    ON {{this}}
-                    GRANT TO ("allUsers")
-                    FILTER USING ( (EXTRACT(WEEK from data) <= (EXTRACT( WEEK from CURRENT_DATE())-6) ) OR ano_campeonato<EXTRACT(YEAR from  CURRENT_DATE()))'
-        - 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter 
-                    ON  {{this}}
-                    GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org")
-                    FILTER USING (ano_campeonato=EXTRACT(YEAR from  CURRENT_DATE()))'      
     test_dataset:
       +materialized: table
       +schema: test_dataset
-    br_ms_cnes:
-      +materialized: table
-      +schema: br_ms_cnes
-    br_mercadolivre_ofertas:
-      +materialized: table
-      +schema: br_mercadolivre_ofertas
\ No newline at end of file
+    
diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
index 41105ab2..8e68cc13 100644
--- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
+++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
@@ -6,11 +6,12 @@
       "field": "ano_campeonato",
       "data_type": "int64",
       "range": {
-      "start": 2003,
-      "end": 2023,
-      "interval": 1}
+        "start": 2003,
+        "end": 2023,
+        "interval": 1}
     },
-    labels = {'tema': 'esporte'})
+    labels = {'project_id': 'basedosdados-dev'},
+    )
  }}
 SELECT 
 SAFE_CAST(REPLACE (ano_campeonato,".0","") AS INT64) ano_campeonato,
@@ -48,4 +49,6 @@ SAFE_CAST(REPLACE (chutes_man,".0","") AS INT64) chutes_man,
 SAFE_CAST(REPLACE (chutes_vis,".0","") AS INT64) chutes_vis,
 SAFE_CAST(REPLACE (chutes_fora_man,".0","") AS INT64) chutes_fora_man,
 SAFE_CAST(REPLACE (chutes_fora_vis,".0","") AS INT64) chutes_fora_vis
-FROM basedosdados-staging.mundo_transfermarkt_competicoes_staging.brasileirao_serie_a AS t
\ No newline at end of file
+FROM basedosdados-staging.mundo_transfermarkt_competicoes_staging.brasileirao_serie_a AS t
+WHERE (EXTRACT(WEEK FROM SAFE_CAST(data AS DATE)) <= (EXTRACT( WEEK FROM CURRENT_DATE())-6) ) 
+OR SAFE_CAST(ano_campeonato AS INT64)<EXTRACT(YEAR from  CURRENT_DATE())
\ No newline at end of file
diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql
new file mode 100644
index 00000000..e0610729
--- /dev/null
+++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql
@@ -0,0 +1,54 @@
+{{ 
+  config(
+    schema='mundo_transfermarkt_competicoes',
+    materialized='table',
+     partition_by={
+      "field": "ano_campeonato",
+      "data_type": "int64",
+      "range": {
+        "start": 2003,
+        "end": 2023,
+        "interval": 1}
+    },
+    labels = {'project_id': 'basedosdados-dev'},
+    post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
+                'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'])
+ }}
+SELECT 
+SAFE_CAST(REPLACE (ano_campeonato,".0","") AS INT64) ano_campeonato,
+SAFE_CAST(data AS DATE) data,
+SAFE_CAST(horario AS STRING) horario,
+SAFE_CAST(REPLACE (rodada,".0","") AS INT64) rodada,
+SAFE_CAST(estadio AS STRING) estadio,
+SAFE_CAST(arbitro AS STRING) arbitro,
+SAFE_CAST(REPLACE (publico,".0","") AS INT64) publico,
+SAFE_CAST(REPLACE (publico_max,".0","") AS INT64) publico_max,
+SAFE_CAST(time_man AS STRING) time_man,
+SAFE_CAST(time_vis AS STRING) time_vis,
+SAFE_CAST(tecnico_man AS STRING) tecnico_man,
+SAFE_CAST(tecnico_vis AS STRING) tecnico_vis,
+SAFE_CAST(REPLACE (colocacao_man,".0","") AS INT64) colocacao_man,
+SAFE_CAST(REPLACE (colocacao_vis,".0","") AS INT64) colocacao_vis,
+SAFE_CAST(REPLACE (valor_equipe_titular_man,".0","") AS INT64) valor_equipe_titular_man,
+SAFE_CAST(REPLACE (valor_equipe_titular_vis,".0","") AS INT64) valor_equipe_titular_vis,
+SAFE_CAST(idade_media_titular_man AS FLOAT64) idade_media_titular_man,
+SAFE_CAST(idade_media_titular_vis AS FLOAT64) idade_media_titular_vis,
+SAFE_CAST(REPLACE (gols_man,".0","") AS INT64) gols_man,
+SAFE_CAST(REPLACE (gols_vis,".0","") AS INT64) gols_vis,
+SAFE_CAST(REPLACE (gols_1_tempo_man,".0","") AS INT64) gols_1_tempo_man,
+SAFE_CAST(REPLACE (gols_1_tempo_vis,".0","") AS INT64) gols_1_tempo_vis,
+SAFE_CAST(REPLACE (escanteios_man,".0","") AS INT64) escanteios_man,
+SAFE_CAST(REPLACE (escanteios_vis,".0","") AS INT64) escanteios_vis,
+SAFE_CAST(REPLACE (faltas_man,".0","") AS INT64) faltas_man,
+SAFE_CAST(REPLACE (faltas_vis,".0","") AS INT64) faltas_vis,
+SAFE_CAST(REPLACE (chutes_bola_parada_man,".0","") AS INT64) chutes_bola_parada_man,
+SAFE_CAST(REPLACE (chutes_bola_parada_vis,".0","") AS INT64) chutes_bola_parada_vis,
+SAFE_CAST(REPLACE (defesas_man,".0","") AS INT64) defesas_man,
+SAFE_CAST(REPLACE (defesas_vis,".0","") AS INT64) defesas_vis,
+SAFE_CAST(REPLACE (impedimentos_man,".0","") AS INT64) impedimentos_man,
+SAFE_CAST(REPLACE (impedimentos_vis,".0","") AS INT64) impedimentos_vis,
+SAFE_CAST(REPLACE (chutes_man,".0","") AS INT64) chutes_man,
+SAFE_CAST(REPLACE (chutes_vis,".0","") AS INT64) chutes_vis,
+SAFE_CAST(REPLACE (chutes_fora_man,".0","") AS INT64) chutes_fora_man,
+SAFE_CAST(REPLACE (chutes_fora_vis,".0","") AS INT64) chutes_fora_vis
+FROM basedosdados-staging.mundo_transfermarkt_competicoes_staging.brasileirao_serie_a AS t
\ No newline at end of file
diff --git a/models/mundo_transfermarkt_competicoes/schema.yml b/models/mundo_transfermarkt_competicoes/schema.yml
index f0e0ad10..da41012e 100644
--- a/models/mundo_transfermarkt_competicoes/schema.yml
+++ b/models/mundo_transfermarkt_competicoes/schema.yml
@@ -1,4 +1,4 @@
-version: 2 
+version: 2
 
 models:
   - name: brasileirao_serie_a
@@ -78,5 +78,89 @@ Fonte: https://www.transfermarkt.com/campeonato-brasileiro-serie-a/startseite/we
         description: Chutes do time visitante
       - name: chutes_fora_man
         description: Chutes fora do time mandante
+      - name: chutes_fora_vis
+        description: Chutes fora do time visitante
+
+
+
+  - name: brasileirao_serie_a_atualizado
+    description: "Dados de 2003-03-29 até 2006-12-03 possuem somente as seguintes informações: data, horario, rodada, estadio, time_man, time_vis, gols_man, gols_vis. O motivo é que o site não disponibilizou outras informações.
+
+A partir de 2007-05-03, informações mais completas foram disponibilizadas, contudo com algumas exceções.
+    - tecnico_man e tecnico_vis possuem alguns valores vazios devido a mudança de padrão. Geralmente técnicos possui id = 0. Contudo quando o técnico é um ex-jogador, ele possuí um id específico. Em consequência da inconsistência no padrão do id dos técnicos, linhas em que esse erro ocorre as colunas valor_equipe_titular_man, valor_equipe_titular_vis, idade_media_titular_man, idade_media_titular_vis, também são afetadas e resultando em vazio;
+    - Na data de 2016-12-11, rodada 38, a partida entre Chapecoense e Atlético-MG não ocorreu em decorrência do desastre que atingiu a equipe do Chapecoense na época, resultando assim em W.O. duplo;
+
+Fonte: https://www.transfermarkt.com/campeonato-brasileiro-serie-a/startseite/wettbewerb/BRA1"
+    columns:
+      - name: ano_campeonato
+        description: Ano do campeonato
+      - name: data
+        description: Data da partida
+      - name: horario
+        description: Horário da partida
+      - name: rodada
+        description: Rodada
+      - name: estadio
+        description: Estádio
+      - name: arbitro
+        description: Árbitro
+      - name: publico
+        description: Público presente
+      - name: publico_max
+        description: Público máximo
+      - name: time_man
+        description: Time mandante
+      - name: time_vis
+        description: Time visitante
+      - name: tecnico_man
+        description: Técnico do time mandante
+      - name: tecnico_vis
+        description: Técnico do time visitante
+      - name: colocacao_man
+        description: Colocação do time mandante
+      - name: colocacao_vis
+        description: Colocação do time visitante
+      - name: valor_equipe_titular_man
+        description: Valor da equipe titular do time mandante
+      - name: valor_equipe_titular_vis
+        description: Valor da equipe titular do time visitante
+      - name: idade_media_titular_man
+        description: Idade média da equipe titular do time mandante
+      - name: idade_media_titular_vis
+        description: Idade média da equipe titular do time visitante
+      - name: gols_man
+        description: Gols do time mandante
+      - name: gols_vis
+        description: Gols do time visitante
+      - name: gols_1_tempo_man
+        description: Gols no primeiro tempo do time mandante
+      - name: gols_1_tempo_vis
+        description: Gols no primeiro tempo do time visitante
+      - name: escanteios_man
+        description: Escanteios do time mandante
+      - name: escanteios_vis
+        description: Escanteios do time visitante
+      - name: faltas_man
+        description: Faltas feitas pelo time mandante
+      - name: faltas_vis
+        description: Faltas feitas pelo time visitante
+      - name: chutes_bola_parada_man
+        description: Chutes de bola parada do time mandante
+      - name: chutes_bola_parada_vis
+        description: Chutes de bola parada do time visitante
+      - name: defesas_man
+        description: Defesas do time mandante
+      - name: defesas_vis
+        description: Defesas do time visitante
+      - name: impedimentos_man
+        description: Impedimentos do time mandante
+      - name: impedimentos_vis
+        description: Impedimentos do time visitante
+      - name: chutes_man
+        description: Chutes do time mandante
+      - name: chutes_vis
+        description: Chutes do time visitante
+      - name: chutes_fora_man
+        description: Chutes fora do time mandante
       - name: chutes_fora_vis
         description: Chutes fora do time visitante
\ No newline at end of file

From f7d78df727d917c661e94653fb4366984fb03f1f Mon Sep 17 00:00:00 2001
From: Laura Amaral <laura.amaral@basedosdados.org>
Date: Fri, 28 Jul 2023 09:37:07 -0300
Subject: [PATCH 2/4] remove competicoes posthook

---
 dbt_project.yml | 12 ++++++++++--
 1 file changed, 10 insertions(+), 2 deletions(-)

diff --git a/dbt_project.yml b/dbt_project.yml
index 7247662b..a2615b0f 100644
--- a/dbt_project.yml
+++ b/dbt_project.yml
@@ -55,12 +55,18 @@ models:
       +post-hook: 
         - 'REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"'
         - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'
+    br_bcb_agencia:
+      +materialized: table
+      +schema: br_bcb_agencia
     br_bcb_estban:
       +materialized: table
       +schema: br_bcb_estban 
     br_bd_diretorios_brasil:
       +materialized: table
       +schema: br_bd_diretorios_brasil
+    br_bd_diretorios_mundo:
+      +materialized: table
+      +schema: br_bd_diretorios_mundo
     br_bd_indicadores:
       +materialized: table
       +schema: br_bd_indicadores
@@ -70,6 +76,9 @@ models:
     br_cgu_pessoal_executivo_federal:
       +materialized: table
       +schema: br_cgu_pessoal_executivo_federal
+    br_cnpq_bolsas:
+      +materialized: table
+      +schema: br_cnpq_bolsas
     br_cvm_administradores_carteira:
       +materialized: table
       +schema: br_cvm_administradores_carteira
@@ -162,5 +171,4 @@ models:
       +schema: mundo_transfermarkt_competicoes
     test_dataset:
       +materialized: table
-      +schema: test_dataset
-    
+      +schema: test_dataset
\ No newline at end of file

From b88bcc22354cf928cce83c0978ed954dca9a8429 Mon Sep 17 00:00:00 2001
From: Laura Amaral <laura.amaral@basedosdados.org>
Date: Fri, 28 Jul 2023 14:34:45 -0300
Subject: [PATCH 3/4] change labels

---
 models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql  | 2 +-
 .../brasileirao_serie_a_atualizado.sql                          | 2 +-
 2 files changed, 2 insertions(+), 2 deletions(-)

diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
index 8e68cc13..c4e1988a 100644
--- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
+++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
@@ -10,7 +10,7 @@
         "end": 2023,
         "interval": 1}
     },
-    labels = {'project_id': 'basedosdados-dev'},
+    labels =  {'tema': 'esporte'},
     )
  }}
 SELECT 
diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql
index e0610729..fb14f2a4 100644
--- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql
+++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql
@@ -10,7 +10,7 @@
         "end": 2023,
         "interval": 1}
     },
-    labels = {'project_id': 'basedosdados-dev'},
+    labels = {'tema': 'esporte'},
     post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
                 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'])
  }}

From 94deab3a421b4d030db90dbdce58a25e244a94c3 Mon Sep 17 00:00:00 2001
From: Laura Amaral <laura.amaral@basedosdados.org>
Date: Fri, 28 Jul 2023 14:35:33 -0300
Subject: [PATCH 4/4] remove extra comma

---
 models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql | 2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
index c4e1988a..eea85348 100644
--- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
+++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql
@@ -10,7 +10,7 @@
         "end": 2023,
         "interval": 1}
     },
-    labels =  {'tema': 'esporte'},
+    labels =  {'tema': 'esporte'}
     )
  }}
 SELECT