Merge branch 'master' into staging/br_bd_diretorios_brasil.cep

basedosdados · Aug 1, 2023 · 6c980c4 · 6c980c4
2 parents 48c510d + 3f89e61
commit 6c980c4
Show file tree

Hide file tree

Showing 27 changed files with 635 additions and 100 deletions.
diff --git a/dbt_project.yml b/dbt_project.yml
@@ -172,15 +172,6 @@ models:
     mundo_transfermarkt_competicoes:
       +materialized: table
       +schema: mundo_transfermarkt_competicoes
-      +post-hook:
-        - 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter 
-                    ON {{this}}
-                    GRANT TO ("allUsers")
-                    FILTER USING ( (EXTRACT(WEEK from data) <= (EXTRACT( WEEK from CURRENT_DATE())-6) ) OR ano_campeonato<EXTRACT(YEAR from  CURRENT_DATE()))'
-        - 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter 
-                    ON  {{this}}
-                    GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org")
-                    FILTER USING (ano_campeonato=EXTRACT(YEAR from  CURRENT_DATE()))'      
     test_dataset:
       +materialized: table
       +schema: test_dataset
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql
@@ -4,5 +4,6 @@ SELECT
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(densidade AS FLOAT64) densidade
-
-FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t
+WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
+  OR  DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)
diff --git a/...ls/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql b/...ls/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql
@@ -0,0 +1,11 @@
+{{ config(alias='densidade_brasil_atualizado', schema='br_anatel_banda_larga_fixa',
+    post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
+                'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
+
+SELECT 
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
+SAFE_CAST(densidade AS FLOAT64) densidade
+
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t
+
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql
@@ -1,10 +1,14 @@
-{{ config(alias='densidade_municipio', schema='br_anatel_banda_larga_fixa') }}
+{{ config(
+    alias='densidade_municipio',
+    schema='br_anatel_banda_larga_fixa')
+    }}
 
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 SAFE_CAST(id_municipio AS STRING) id_municipio,
 SAFE_CAST(densidade AS FLOAT64) densidade
-
-FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t
+WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
+  OR  DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)
diff --git a/...br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql b/...br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql
@@ -0,0 +1,15 @@
+{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_banda_larga_fixa',
+    post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
+                'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
+
+
+SELECT
+
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
+SAFE_CAST(sigla_uf AS STRING) sigla_uf,
+REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio,
+SAFE_CAST(densidade AS FLOAT64) densidade
+
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t
+
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql
@@ -6,3 +6,5 @@ SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 SAFE_CAST(densidade AS FLOAT64) densidade
 FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t
+WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
+  OR  DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql
@@ -0,0 +1,11 @@
+{{ config(alias='densidade_uf_atualizado', schema='br_anatel_banda_larga_fixa',
+            post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
+            'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
+
+SELECT 
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
+SAFE_CAST(sigla_uf AS STRING) sigla_uf,
+SAFE_CAST(densidade AS FLOAT64) densidade
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t 
+
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql
@@ -1,4 +1,18 @@
-{{ config(alias='microdados', schema='br_anatel_banda_larga_fixa') }}
+{{ config(
+    alias='microdados',
+    schema='br_anatel_banda_larga_fixa',
+    materialized='table',
+     partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2007,
+        "end": 2023,
+        "interval": 1}
+    },
+    cluster_by = ["id_municipio", "mes"],
+    labels = {'project_id': 'basedosdados'})
+ }}
 
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
@@ -13,5 +27,6 @@ SAFE_CAST(transmissao AS STRING) transmissao,
 SAFE_CAST(velocidade AS STRING) velocidade,
 SAFE_CAST(produto AS STRING) produto,
 SAFE_CAST(acessos AS INT64) acessos
-
-FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t
+WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
+  OR  DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0)
diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql
@@ -0,0 +1,34 @@
+{{ config(
+    alias='microdados_atualizado',
+    schema='br_anatel_banda_larga_fixa',
+    materialized='table',
+     partition_by={
+      "field": "ano",
+      "data_type": "int64",
+      "range": {
+        "start": 2007,
+        "end": 2023,
+        "interval": 1}
+    },
+    cluster_by = ["id_municipio", "mes"],
+    labels = {'project_id': 'basedosdados'},
+    post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
+              'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'])
+ }}
+
+
+SELECT 
+SAFE_CAST(ano AS INT64) ano,
+SAFE_CAST(mes AS INT64) mes,
+SAFE_CAST(sigla_uf AS STRING) sigla_uf,
+SAFE_CAST(id_municipio AS STRING) id_municipio,
+SAFE_CAST(cnpj AS STRING) cnpj,
+SAFE_CAST(empresa AS STRING) empresa,
+SAFE_CAST(porte_empresa AS STRING) porte_empresa,
+SAFE_CAST(tecnologia AS STRING) tecnologia,
+SAFE_CAST(transmissao AS STRING) transmissao,
+SAFE_CAST(velocidade AS STRING) velocidade,
+SAFE_CAST(produto AS STRING) produto,
+SAFE_CAST(acessos AS INT64) acessos
+
+FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t
diff --git a/models/br_anatel_banda_larga_fixa/schema.yml b/models/br_anatel_banda_larga_fixa/schema.yml
@@ -27,7 +27,7 @@ models:
       - name: produto
         description: Tipo de Produto
       - name: acessos
-        description: Número total de acessos
+        description: Número total de contratos
 
   - name: br_anatel_banda_larga_fixa__densidade_brasil
     description: "Total de acessos e densidade por domicílio da Banda Larga Fixa no Brasil por mês e ano desde março de 2007"
@@ -64,3 +64,67 @@ models:
         description: ID Município - IBGE 7 Dígitos    
       - name: densidade
         description: Densidade de acessos por 100 domicílios
+
+  - name: br_anatel_banda_larga_fixa__microdados_atualizado
+    description: "Microdados de banda larga fixa (também conhecido como Serviço de Comunicação Multimídia) a partir de 2007 que traz dados mensais acerca da empresa ofertante e das especificações técnicas do serviço."
+    columns:
+      - name: ano
+        description: Ano
+      - name: mes
+        description: Mês
+      - name: sigla_uf
+        description: Sigla da Unidade da Federação
+      - name: id_municipio
+        description: ID Município - IBGE 7 Dígitos
+      - name: cnpj
+        description: Cadastro Nacional de Pessoa Jurídica
+      - name: empresa
+        description: Nome da empresa
+      - name: porte_empresa
+        description: Porte da empresa
+      - name: tecnologia
+        description: Tecnologia
+      - name: transmissao
+        description: Meios de transmissão
+      - name: velocidade
+        description: Velocidade contratada
+      - name: produto
+        description: Tipo de Produto
+      - name: acessos
+        description: Número total de contratos
+
+  - name: br_anatel_banda_larga_fixa__densidade_brasil_atualizado
+    description: "Total de acessos e densidade por domicílio da Banda Larga Fixa no Brasil por mês e ano desde março de 2007"
+    columns:
+      - name: ano
+        description: Ano
+      - name: mes
+        description: Mês
+      - name: densidade
+        description: Densidade de acessos por 100 domicílios
+
+  - name: br_anatel_banda_larga_fixa__densidade_uf_atualizado
+    description: "Total de acessos e densidade por domicílio da Banda Larga Fixa nos estados por mês e ano desde março de 2007"
+    columns:
+      - name: ano
+        description: Ano
+      - name: mes
+        description: Mês
+      - name: sigla_uf
+        description: Sigla da Unidade da Federação
+      - name: densidade
+        description: Densidade de acessos por 100 domicílios
+
+  - name: br_anatel_banda_larga_fixa__densidade_municipio_atualizado
+    description: "Total de acessos e densidade por domicílio da Banda Larga Fixa nos estados por mês e ano desde março de 2007"
+    columns:
+      - name: ano
+        description: Ano
+      - name: mes
+        description: Mês
+      - name: sigla_uf
+        description: Sigla da Unidade da Federação
+      - name: id_municipio
+        description: ID Município - IBGE 7 Dígitos    
+      - name: densidade
+        description: Densidade de acessos por 100 domicílios
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql
@@ -6,4 +6,4 @@ SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(densidade AS FLOAT64) densidade
 
 FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t
-WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6
+WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql
@@ -1,10 +1,11 @@
 {{ config(alias='densidade_brasil_atualizado', schema='br_anatel_telefonia_movel',
     post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
                 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
- 
+
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(densidade AS FLOAT64) densidade
 
-FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t
+FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t
+
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql
@@ -1,26 +1,11 @@
-{{ config(
-    alias='densidade_municipio',
-    schema='br_anatel_telefonia_movel',
-    materialized='table',
-     partition_by={
-      "field": "ano",
-      "data_type": "int64",
-      "range": {
-        "start": 2019,
-        "end": 2023,
-        "interval": 1}
-    },
-    cluster_by = ["id_municipio", "mes"],
-    labels = {'project_id': 'basedosdados'})
- }}
-
-SELECT
+{{ config(alias='densidade_municipio', schema='br_anatel_telefonia_movel') }}
 
+SELECT
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio,
 SAFE_CAST(densidade AS FLOAT64) densidade
 
 FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t
-WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6
+WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
diff --git a/...s/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql b/...s/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql
@@ -1,21 +1,7 @@
-{{ config(
-    alias='densidade_municipio_atualizado',
-    schema='br_anatel_telefonia_movel',
-    materialized='table',
-     partition_by={
-      "field": "ano",
-      "data_type": "int64",
-      "range": {
-        "start": 2019,
-        "end": 2023,
-        "interval": 1}
-    },
-    cluster_by = ["id_municipio", "mes"],
-    labels = {'project_id': 'basedosdados'},
+{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_telefonia_movel',
     post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
-              'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'])
- }}
-
+                'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
+
 SELECT
 
 SAFE_CAST(ano AS INT64) ano,

diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql
@@ -5,5 +5,6 @@ SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 SAFE_CAST(densidade AS FLOAT64) densidade
-FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t
-WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6
+
+FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t 
+WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql
@@ -1,10 +1,11 @@
 {{ config(alias='densidade_uf_atualizado', schema='br_anatel_telefonia_movel',
             post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"',
             'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }}
- 
+
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
 SAFE_CAST(sigla_uf AS STRING) sigla_uf,
 SAFE_CAST(densidade AS FLOAT64) densidade
-FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t 
+FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t 
+
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql
@@ -32,4 +32,4 @@ SAFE_CAST(produto AS STRING) produto,
 SAFE_CAST(acessos AS INT64) acessos
 
 FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t
-WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6
+WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6
diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql
@@ -16,6 +16,7 @@
               'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"'])
  }}
 
+
 SELECT 
 SAFE_CAST(ano AS INT64) ano,
 SAFE_CAST(mes AS INT64) mes,
@@ -32,4 +33,4 @@ SAFE_CAST(pessoa AS STRING) pessoa,
 SAFE_CAST(produto AS STRING) produto,
 SAFE_CAST(acessos AS INT64) acessos
 
-FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t
+FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t
diff --git a/models/br_anatel_telefonia_movel/schema.yml b/models/br_anatel_telefonia_movel/schema.yml
@@ -70,7 +70,7 @@ models:
         description: Densidade de acessos por 100 domicílios
 
 
-  # ! modelo dbt para bd pro ! 
+  # ! modelo dbt para bd pro
 
   - name: br_anatel_telefonia_movel__microdados_atualizado
     description: "Dados de telefonia móvel (também conhecido como Serviço Móvel Pessoal) a partir de 2019, após reformulação da coleta e divulgação de dados por parte da Anatel, que apresentam o município como menor nível de desagregação dos dados."
@@ -138,4 +138,5 @@ models:
       - name: id_municipio
         description: ID Município - IBGE 7 Dígitos    
       - name: densidade
-        description: Densidade de acessos por 100 domicílios
+        description: Densidade de acessos por 100 domicílios
+