From 4fa73aeee3913f0024e37584f740a5b1c1286561 Mon Sep 17 00:00:00 2001 From: Gabrielle Carvalho <77730866+gabrielle-carv@users.noreply.github.com> Date: Tue, 25 Jul 2023 16:47:46 -0300 Subject: [PATCH 01/16] add preco --- models/br_mercadolivre_ofertas/item.sql | 142 ++++++++++++++++-------- 1 file changed, 94 insertions(+), 48 deletions(-) diff --git a/models/br_mercadolivre_ofertas/item.sql b/models/br_mercadolivre_ofertas/item.sql index 68bdd867..a0944cb9 100644 --- a/models/br_mercadolivre_ofertas/item.sql +++ b/models/br_mercadolivre_ofertas/item.sql @@ -7,54 +7,91 @@ } )}} -WITH tabela AS ( - SELECT - PARSE_DATE('%Y-%m-%d', FORMAT_TIMESTAMP('%Y-%m-%d', data_hora)) AS data_consulta, - PARSE_TIME('%H:%M:%S', FORMAT_TIMESTAMP('%H:%M:%S', data_hora)) AS hora_consulta, - secao_site, - item_id as id_item, - titulo, - vendedor_id as id_vendedor, - CASE - WHEN vendedor = 'None' THEN NULL - ELSE vendedor - END AS vendedor, - REGEXP_EXTRACT(categoria, r'^([^,]+)') AS categoria_principal, - REGEXP_EXTRACT(categoria, r'^([^\n]+)') AS categorias, - envio_pais as envio_nacional, - caracteristicas, - quantidade_avaliacoes as quantidade_avaliacao, - estrelas as avaliacao, + +WITH tabela_ordenada as ( +SELECT + PARSE_DATE('%Y-%m-%d', dia) AS data_consulta, +TIME( + EXTRACT(HOUR FROM PARSE_DATETIME('%Y-%m-%d %H:%M:%S', data_hora)), + EXTRACT(MINUTE FROM PARSE_DATETIME('%Y-%m-%d %H:%M:%S', data_hora)), + EXTRACT(SECOND FROM PARSE_DATETIME('%Y-%m-%d %H:%M:%S', data_hora)) +) AS hora_consulta, + secao_site, + LPAD(item_id, 12, '0') AS id_item, + CASE + WHEN vendedor='None' THEN NULL + ELSE vendedor + END vendedor, + titulo, + categorias, + CASE + WHEN categorias = '[]' THEN null + WHEN TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(1)], '"') = '...' THEN + TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(2)], '"') + WHEN TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(0)], '"') = '...' THEN + TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(1)], '"') + ELSE TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(0)], '"') + END as categoria_principal, + CASE + when categorias = '[]' then null + WHEN TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(1)], '"') = '...' THEN + ARRAY_TO_STRING(ARRAY(SELECT x FROM UNNEST(JSON_EXTRACT_ARRAY(categorias)) AS x WITH OFFSET + WHERE OFFSET > 3), ', ') + WHEN TRIM(JSON_EXTRACT_ARRAY(categorias)[OFFSET(0)], '"') = '...' THEN + ARRAY_TO_STRING(ARRAY(SELECT x FROM UNNEST(JSON_EXTRACT_ARRAY(categorias)) AS x WITH OFFSET + WHERE OFFSET > 1), ', ') + ELSE ARRAY_TO_STRING(ARRAY(SELECT x FROM UNNEST(JSON_EXTRACT_ARRAY(categorias)) AS x WITH OFFSET + WHERE OFFSET > 0), ', ') + END as outras_categorias, + CASE + WHEN caracteristicas = '{}' THEN NULL + ELSE caracteristicas + END caracteristicas, + SAFE_CAST(envio_pais AS BOOL) envio_nacional, + SAFE_CAST(quantidade_avaliacoes AS INT64) quantidade_avaliacao, + SAFE_CAST(estrelas AS FLOAT64) avaliacao, + SAFE_CAST( CASE - WHEN IS_NAN(preco_original) THEN null - WHEN preco > preco_original THEN preco + WHEN preco_original = 'nan' THEN null ELSE preco_original - END preco_original, - desconto, - CASE - WHEN preco > preco_original THEN preco_original - WHEN preco = preco_original THEN null - ELSE preco - END AS preco_final + END AS FLOAT64) AS preco_original, + SAFE_CAST(desconto AS INT64) desconto, + SAFE_CAST (preco AS FLOAT64) AS preco, +FROM + `basedosdados-staging.br_mercadolivre_ofertas_staging.item` +), tabela_preco AS ( + SELECT + data_consulta, + hora_consulta, + secao_site, + id_item, + titulo, + vendedor, + categoria_principal, + REGEXP_REPLACE( + TRIM(outras_categorias, '"'), + r'("([^"]+)")', + r'\2' + ) as outras_categorias, + caracteristicas, + envio_nacional, + quantidade_avaliacao, + avaliacao, + CASE + WHEN preco_original < preco THEN preco + WHEN preco_original = preco THEN null + ELSE preco_original + END preco_original, + desconto, + CASE + WHEN preco > preco_original THEN preco_original + WHEN preco = preco_original THEN null + ELSE preco + END preco_final, FROM - ( - SELECT - ARRAY_TO_STRING(categorias, ', ') AS categoria, - * - FROM - `basedosdados.br_mercadolivre_ofertas.item` - WHERE NOT ARRAY_TO_STRING(categorias, ', ') LIKE '...%' - ) a -LEFT JOIN -(SELECT - DISTINCT - dia, - vendedor_id, - nome -FROM - `basedosdados.br_mercadolivre_ofertas.vendedor`) b -ON a.vendedor = b.nome and FORMAT_TIMESTAMP('%Y-%m-%d', data_hora) = FORMAT_TIMESTAMP('%Y-%m-%d', dia) + tabela_ordenada + ) SELECT data_consulta, @@ -62,10 +99,10 @@ SELECT secao_site, id_item, titulo, - id_vendedor, + id_vendor as id_vendedor, vendedor, - categoria_principal, - categorias, + a.categoria_principal, + outras_categorias, caracteristicas, envio_nacional, quantidade_avaliacao, @@ -88,7 +125,16 @@ SELECT ELSE preco_final END, 2 ) AS preco_final -FROM tabela +FROM tabela_preco a +LEFT JOIN +(SELECT + DISTINCT + dia, + LPAD(id_vendor, 12, '0') as id_vendor, + nome +FROM + `basedosdados-staging.br_mercadolivre_ofertas_staging.vendedor`) b +ON a.vendedor = b.nome and data_consulta = PARSE_DATE('%Y-%m-%d', dia) WHERE NOT (preco_original IS NULL AND preco_final IS NULL) AND NOT (preco_final IS NULL AND desconto IS NULL) AND NOT (preco_original IS NULL AND desconto IS NULL) \ No newline at end of file From c0dd964234221a0304044133716989223c864fa3 Mon Sep 17 00:00:00 2001 From: tricktx Date: Wed, 26 Jul 2023 10:12:26 -0300 Subject: [PATCH 02/16] ajustando schema.yml --- .../schema.yml | 255 +++++++++++++++++- 1 file changed, 248 insertions(+), 7 deletions(-) diff --git a/models/br_rj_isp_estatisticas_seguranca/schema.yml b/models/br_rj_isp_estatisticas_seguranca/schema.yml index 5c06cf60..3667ff63 100644 --- a/models/br_rj_isp_estatisticas_seguranca/schema.yml +++ b/models/br_rj_isp_estatisticas_seguranca/schema.yml @@ -152,7 +152,7 @@ models: description: Número de cumprimento de mandado de busca e apreensão (CMBA) - name: quantidade_ameaca description: Ameaça - - name: quantidade_pessoas_desaparecida + - name: quantidade_pessoas_desaparecidas description: Pessoas desaparecidas - name: quantidade_encontro_cadaver description: Encontro de cadáver @@ -202,7 +202,7 @@ models: description: Homicídio culposo (trânsito) - name: quantidade_lesao_corporal_culposa description: Lesão corporal culposa (trânsito) - - name: quantidade_roubo_ + - name: quantidade_roubo_transeunte description: Roubo a transeunte - name: quantidade_roubo_celular description: Roubo ao telefone celular @@ -274,7 +274,7 @@ models: description: Número de cumprimento de mandado de busca e apreensão (CMBA) - name: quantidade_ameaca description: Ameaça - - name: quantidade_pessoas_desaparecidas + - name: quantidade_pessoas_desaparecida description: Pessoas desaparecidas - name: quantidade_encontro_cadaver description: Encontro de cadáver @@ -705,6 +705,8 @@ models: columns: - name: ano description: Ano + - name: mes + description: Mês - name: id_municipio description: Identificador IBGE de 7 dígitos do município da circunscrição - name: id_cisp @@ -758,6 +760,8 @@ models: description: Roubo de veículo - name: quantidade_roubo_carga description: Roubo de carga + - name: quantidade_roubo_comercio + description: Roubo a estabelecimento comercial - name: quantidade_roubo_residencia description: Roubo a residência - name: quantidade_roubo_banco @@ -770,6 +774,8 @@ models: description: Total de roubos - name: quantidade_furto_veiculos description: Furto de veículo + - name: quantidade_total_furto + description: Total de furtos - name: quantidade_sequestro description: Extorsão mediante sequestro (sequestro clássico) - name: quantidade_extorsao @@ -778,13 +784,13 @@ models: description: Extorsão com restrição da liberdade da vítima (sequestro relâmpago) - name: quantidade_estelionato description: Estelionato - - name: quantidade_apreensao_drogas + - name: quantidade_apreensao_droga description: Apreensão de drogas - - name: taxa_registro_veiculo_recuperado + - name: quantidade_registro_veiculo_recuperado description: Recuperação de veículo - name: quantidade_ameaca description: Ameaça - - name: quantidade_pessoas_desaparecidas + - name: quantidade_pessoa_desaparecida description: Pessoas desaparecidas - name: quantidade_encontro_cadaver description: Encontro de cadáver @@ -811,4 +817,239 @@ models: - name: unidade_territorial description: Unidade Territorial - name: regiao - description: Região do Rio de Janeiro \ No newline at end of file + description: Região do Rio de Janeiro + + +# ! modelo dbt taxa_evolucao_anual_uf + - name: taxa_evolucao_anual_uf + description: "Série histórica anual no estado desde 1991 (taxas por 100 mil habitantes)" + columns: + - name: ano + description: Ano + - name: taxa_homicidio_doloso + description: Homicídio doloso por 100 mil habitantes + - name: taxa_latrocinio + description: Latrocínio por 100 mil habitantes + - name: taxa_lesao_corporal_morte + description: Lesão corporal seguida de morte por 100 mil habitantes + - name: taxa_crimes_violentos_letais_intencionais + description: Crimes violentos letais intencionais (CVLI) por 100 mil habitantes + - name: taxa_homicidio_intervencao_policial + description: Morte por intervenção de agente do Estado por 100 mil habitantes + - name: taxa_letalidade_violenta + description: Letalidade violenta por 100 mil habitantes + - name: taxa_tentativa_homicidio + description: Tentativa de homicídio por 100 mil habitantes + - name: taxa_lesao_corporal_dolosa + description: Lesão corporal dolosa por 100 mil habitantes + - name: taxa_estupro + description: Estupro por 100 mil habitantes + - name: taxa_homicidio_culposo + description: Homicídio culposo (trânsito) por 100 mil habitantes + - name: taxa_lesao_corporal_culposa + description: Lesão corporal culposa (trânsito) por 100 mil habitantes + - name: taxa_roubo_transeunte + description: Roubo a transeunte por 100 mil habitantes + - name: taxa_roubo_celular + description: Roubo ao telefone celular por 100 mil habitantes + - name: taxa_roubo_corporal_coletivo + description: Roubo coletivo por 100 mil habitantes + - name: taxa_roubo_rua + description: Roubo de rua por 100 mil habitantes + - name: taxa_roubo_veiculo + description: Roubo de veículo por 100 mil habitantes + - name: taxa_roubo_carga + description: Roubo de carga por 100 mil habitantes + - name: taxa_roubo_comercio + description: Roubo a estabelecimento comercial + - name: taxa_roubo_residencia + description: Roubo a residência por 100 mil habitantes + - name: taxa_roubo_banco + description: Roubo a banco por 100 mil habitantes + - name: taxa_roubo_caixa_eletronico + description: Roubo a caixa eletrônico por 100 mil habitantes + - name: taxa_roubo_conducao_saque + description: Roubo com condução da vítima para saque em instituição financeira por 100 mil habitantes + - name: taxa_roubo_apos_saque + description: Roubo após saque em instituição financeira por 100 mil habitantes + - name: taxa_roubo_bicicleta + description: Roubo de bicicleta por 100 mil habitantes + - name: taxa_outros_roubos + description: Outros roubos que não os listados acima por 100 mil habitantes + - name: taxa_total_roubos + description: Total de roubos por 100 mil habitantes + - name: taxa_furto_veiculos + description: Furto de veículo por 100 mil habitantes + - name: taxa_furto_transeunte + description: Furto a transeunte por 100 mil habitantes + - name: taxa_furto_coletivo + description: Furto coletivo por 100 mil habitantes + - name: taxa_furto_celular + description: Furto ao telefone celular por 100 mil habitantes + - name: taxa_furto_bicicleta + description: Furto de bicicleta por 100 mil habitantes + - name: taxa_outros_furtos + description: Outros furtos que não os listados acima por 100 mil habitantes + - name: taxa_total_furtos + description: Total de furtos por 100 mil habitantes + - name: taxa_sequestro + description: Extorsão mediante sequestro (sequestro clássico) por 100 mil habitantes + - name: taxa_extorsao + description: Extorsão por 100 mil habitantes + - name: taxa_sequestro_relampago + description: Extorsão com restrição da liberdade da vítima (sequestro relâmpago) por 100 mil habitantes + - name: taxa_estelionato + description: Estelionato por 100 mil habitantes + - name: taxa_apreensao_drogas + description: Apreensão de drogas por 100 mil habitantes + - name: taxa_registro_posse_drogas + description: Número de registros que possuem algum título referente a posse de drogas por 100 mil habitantes + - name: taxa_registro_trafico_drogas + description: Número de registros que possuem algum título referente a tráfico de drogas por 100 mil habitantes + - name: taxa_registro_apreensao_drogas_sem_autor + description: Número de registros que possuem algum título referente a apreensão de drogas sem autor por 100 mil habitantes + - name: taxa_registro_veiculo_recuperado + description: Recuperação de veículo por 100 mil habitantes + - name: taxa_apf + description: Número de autos de Prisão em Flagrante (APF) por 100 mil habitantes + - name: taxa_aaapai + description: Número de autos de Apreensão de Adolescente por Prática de Ato Infracional (AAAPAI) por 100 mil habitantes + - name: taxa_cmp + description: Número de cumprimento de mandado de prisão (CMP) por 100 mil habitantes + - name: taxa_cmba + description: Número de cumprimento de mandado de busca e apreensão (CMBA) por 100 mil habitantes + - name: taxa_ameaca + description: Ameaça por 100 mil habitantes + - name: taxa_pessoas_desaparecidas + description: Pessoas desaparecidas por 100 mil habitantes + - name: taxa_encontro_cadaver + description: Encontro de cadáver por 100 mil habitantes + - name: taxa_encontro_ossada + description: Encontro de ossada por 100 mil habitantes + - name: taxa_policial_militar_morto_servico + description: Policiais Militares mortos em serviço por 100 mil habitantes + - name: taxa_policial_civil_morto_servico + description: Policiais Civis mortos em serviço por 100 mil habitantes + - name: taxa_registro_ocorrencia + description: Registro de ocorrências por 100 mil habitantes + - name: tipo_fase + description: Tipo de fase (e.g. Consolidado sem errata, Consolidado com errata) + +# ! modelo dbt taxa_evolucao_anual_municipio + - name: taxa_evolucao_anual_municipio + description: "Série histórica anual por município desde 2014 (taxas por 100 mil habitantes)" + columns: + - name: ano + description: Ano + - name: id_municipio + description: Código IBGE de 7 dígitos do município + - name: regiao + description: Região do Rio de Janeiro + - name: taxa_homicidio_doloso + description: Homicídio doloso por 100 mil habitantes + - name: taxa_latrocinio + description: Latrocínio por 100 mil habitantes + - name: taxa_lesao_corporal_morte + description: Lesão corporal seguida de morte por 100 mil habitantes + - name: taxa_crimes_violentos_letais_intencionais + description: Crimes violentos letais intencionais (CVLI) por 100 mil habitantes + - name: taxa_homicidio_intervencao_policial + description: Morte por intervenção de agente do Estado por 100 mil habitantes + - name: taxa_letalidade_violenta + description: Letalidade violenta por 100 mil habitantes + - name: taxa_tentativa_homicidio + description: Tentativa de homicídio por 100 mil habitantes + - name: taxa_lesao_corporal_dolosa + description: Lesão corporal dolosa por 100 mil habitantes + - name: taxa_estupro + description: Estupro por 100 mil habitantes + - name: taxa_homicidio_culposo + description: Homicídio culposo (trânsito) por 100 mil habitantes + - name: taxa_lesao_corporal_culposa + description: Lesão corporal culposa (trânsito) por 100 mil habitantes + - name: taxa_roubo_transeunte + description: Roubo a transeunte por 100 mil habitantes + - name: taxa_roubo_celular + description: Roubo ao telefone celular por 100 mil habitantes + - name: taxa_roubo_corporal_coletivo + description: Roubo coletivo por 100 mil habitantes + - name: taxa_roubo_rua + description: Roubo de rua por 100 mil habitantes + - name: taxa_roubo_veiculo + description: Roubo de veículo por 100 mil habitantes + - name: taxa_roubo_carga + description: Roubo de carga por 100 mil habitantes + - name: taxa_roubo_comercio + description: Roubo a estabelecimento comercial + - name: taxa_roubo_residencia + description: Roubo a residência por 100 mil habitantes + - name: taxa_roubo_banco + description: Roubo a banco por 100 mil habitantes + - name: taxa_roubo_caixa_eletronico + description: Roubo a caixa eletrônico por 100 mil habitantes + - name: taxa_roubo_conducao_saque + description: Roubo com condução da vítima para saque em instituição financeira por 100 mil habitantes + - name: taxa_roubo_apos_saque + description: Roubo após saque em instituição financeira por 100 mil habitantes + - name: taxa_roubo_bicicleta + description: Roubo de bicicleta por 100 mil habitantes + - name: taxa_outros_roubos + description: Outros roubos que não os listados acima por 100 mil habitantes + - name: taxa_total_roubos + description: Total de roubos por 100 mil habitantes + - name: taxa_furto_veiculos + description: Furto de veículo por 100 mil habitantes + - name: taxa_furto_transeunte + description: Furto a transeunte por 100 mil habitantes + - name: taxa_furto_coletivo + description: Furto coletivo por 100 mil habitantes + - name: taxa_furto_celular + description: Furto ao telefone celular por 100 mil habitantes + - name: taxa_furto_bicicleta + description: Furto de bicicleta por 100 mil habitantes + - name: taxa_outros_furtos + description: Outros furtos que não os listados acima por 100 mil habitantes + - name: taxa_total_furtos + description: Total de furtos por 100 mil habitantes + - name: taxa_sequestro + description: Extorsão mediante sequestro (sequestro clássico) por 100 mil habitantes + - name: taxa_extorsao + description: Extorsão por 100 mil habitantes + - name: taxa_sequestro_relampago + description: Extorsão com restrição da liberdade da vítima (sequestro relâmpago) por 100 mil habitantes + - name: taxa_estelionato + description: Estelionato por 100 mil habitantes + - name: taxa_apreensao_drogas + description: Apreensão de drogas por 100 mil habitantes + - name: taxa_registro_posse_drogas + description: Número de registros que possuem algum título referente a posse de drogas por 100 mil habitantes + - name: taxa_registro_trafico_drogas + description: Número de registros que possuem algum título referente a tráfico de drogas por 100 mil habitantes + - name: taxa_registro_apreensao_drogas_sem_autor + description: Número de registros que possuem algum título referente a apreensão de drogas sem autor por 100 mil habitantes + - name: taxa_registro_veiculo_recuperado + description: Recuperação de veículo por 100 mil habitantes + - name: taxa_apf + description: Número de autos de Prisão em Flagrante (APF) por 100 mil habitantes + - name: taxa_aaapai + description: Número de autos de Apreensão de Adolescente por Prática de Ato Infracional (AAAPAI) por 100 mil habitantes + - name: taxa_cmp + description: Número de cumprimento de mandado de prisão (CMP) por 100 mil habitantes + - name: taxa_cmba + description: Número de cumprimento de mandado de busca e apreensão (CMBA) por 100 mil habitantes + - name: taxa_ameaca + description: Ameaça por 100 mil habitantes + - name: taxa_pessoas_desaparecidas + description: Pessoas desaparecidas por 100 mil habitantes + - name: taxa_encontro_cadaver + description: Encontro de cadáver por 100 mil habitantes + - name: taxa_encontro_ossada + description: Encontro de ossada por 100 mil habitantes + - name: taxa_policial_militar_morto_servico + description: Policiais Militares mortos em serviço por 100 mil habitantes + - name: taxa_policial_civil_morto_servico + description: Policiais Civis mortos em serviço por 100 mil habitantes + - name: taxa_registro_ocorrencia + description: Registro de ocorrências por 100 mil habitantes + - name: tipo_fase + description: Tipo de fase (e.g. Consolidado sem errata, Consolidado com errata) From 34fb7e8e0d03e7c0d04560fb927986bcad8c8c66 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Thu, 27 Jul 2023 12:57:10 -0300 Subject: [PATCH 03/16] fix ncm_importacao_atualizado dbt model --- models/br_me_comex_stat/ncm_importacao_atualizado.sql | 1 - 1 file changed, 1 deletion(-) diff --git a/models/br_me_comex_stat/ncm_importacao_atualizado.sql b/models/br_me_comex_stat/ncm_importacao_atualizado.sql index f4ca5257..3ab05b59 100644 --- a/models/br_me_comex_stat/ncm_importacao_atualizado.sql +++ b/models/br_me_comex_stat/ncm_importacao_atualizado.sql @@ -31,4 +31,3 @@ SAFE_CAST(valor_fob_dolar AS FLOAT64) valor_fob_dolar, SAFE_CAST(valor_frete AS FLOAT64) valor_frete, SAFE_CAST(valor_seguro AS FLOAT64) valor_seguro FROM basedosdados-staging.br_me_comex_stat_staging.ncm_importacao AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 \ No newline at end of file From 316ae9427a0e7215bfe26820dfe8c8fa3db5eb7c Mon Sep 17 00:00:00 2001 From: Laura Amaral Date: Fri, 28 Jul 2023 09:34:04 -0300 Subject: [PATCH 04/16] add updated tables --- dbt_project.yml | 25 +++--- .../brasileirao_serie_a.sql | 13 +-- .../brasileirao_serie_a_atualizado.sql | 54 ++++++++++++ .../schema.yml | 86 ++++++++++++++++++- 4 files changed, 157 insertions(+), 21 deletions(-) create mode 100644 models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql diff --git a/dbt_project.yml b/dbt_project.yml index 53619bef..7247662b 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -112,6 +112,15 @@ models: br_me_comex_stat: +materialized: table +schema: br_me_comex_stat + br_mercadolivre_ofertas: + +materialized: table + +schema: br_mercadolivre_ofertas + +post-hook: + - 'REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"' + - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"' + br_ms_cnes: + +materialized: table + +schema: br_ms_cnes br_ons_avaliacao_operacao: +materialized: table +schema: br_ons_avaliacao_operacao @@ -151,21 +160,7 @@ models: mundo_transfermarkt_competicoes: +materialized: table +schema: mundo_transfermarkt_competicoes - +post-hook: - - 'CREATE OR REPLACE ROW ACCESS POLICY allusers_filter - ON {{this}} - GRANT TO ("allUsers") - FILTER USING ( (EXTRACT(WEEK from data) <= (EXTRACT( WEEK from CURRENT_DATE())-6) ) OR ano_campeonato Date: Fri, 28 Jul 2023 09:37:07 -0300 Subject: [PATCH 05/16] remove competicoes posthook --- dbt_project.yml | 12 ++++++++++-- 1 file changed, 10 insertions(+), 2 deletions(-) diff --git a/dbt_project.yml b/dbt_project.yml index 7247662b..a2615b0f 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -55,12 +55,18 @@ models: +post-hook: - 'REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"' - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"' + br_bcb_agencia: + +materialized: table + +schema: br_bcb_agencia br_bcb_estban: +materialized: table +schema: br_bcb_estban br_bd_diretorios_brasil: +materialized: table +schema: br_bd_diretorios_brasil + br_bd_diretorios_mundo: + +materialized: table + +schema: br_bd_diretorios_mundo br_bd_indicadores: +materialized: table +schema: br_bd_indicadores @@ -70,6 +76,9 @@ models: br_cgu_pessoal_executivo_federal: +materialized: table +schema: br_cgu_pessoal_executivo_federal + br_cnpq_bolsas: + +materialized: table + +schema: br_cnpq_bolsas br_cvm_administradores_carteira: +materialized: table +schema: br_cvm_administradores_carteira @@ -162,5 +171,4 @@ models: +schema: mundo_transfermarkt_competicoes test_dataset: +materialized: table - +schema: test_dataset - + +schema: test_dataset \ No newline at end of file From b88bcc22354cf928cce83c0978ed954dca9a8429 Mon Sep 17 00:00:00 2001 From: Laura Amaral Date: Fri, 28 Jul 2023 14:34:45 -0300 Subject: [PATCH 06/16] change labels --- models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql | 2 +- .../brasileirao_serie_a_atualizado.sql | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql index 8e68cc13..c4e1988a 100644 --- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql +++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql @@ -10,7 +10,7 @@ "end": 2023, "interval": 1} }, - labels = {'project_id': 'basedosdados-dev'}, + labels = {'tema': 'esporte'}, ) }} SELECT diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql index e0610729..fb14f2a4 100644 --- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql +++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a_atualizado.sql @@ -10,7 +10,7 @@ "end": 2023, "interval": 1} }, - labels = {'project_id': 'basedosdados-dev'}, + labels = {'tema': 'esporte'}, post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} From 94deab3a421b4d030db90dbdce58a25e244a94c3 Mon Sep 17 00:00:00 2001 From: Laura Amaral Date: Fri, 28 Jul 2023 14:35:33 -0300 Subject: [PATCH 07/16] remove extra comma --- models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql index c4e1988a..eea85348 100644 --- a/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql +++ b/models/mundo_transfermarkt_competicoes/brasileirao_serie_a.sql @@ -10,7 +10,7 @@ "end": 2023, "interval": 1} }, - labels = {'tema': 'esporte'}, + labels = {'tema': 'esporte'} ) }} SELECT From 55567935da6eb2082cae1cfb0b9c60cf97d9be5b Mon Sep 17 00:00:00 2001 From: tricktx Date: Fri, 28 Jul 2023 18:13:18 -0300 Subject: [PATCH 08/16] add dbt anatel --- .../br_anatel_telefonia_movel__densidade_brasil.sql | 4 ++-- ..._anatel_telefonia_movel__densidade_brasil_atualizado.sql | 5 +++-- .../br_anatel_telefonia_movel__densidade_municipio.sql | 6 +++--- ...atel_telefonia_movel__densidade_municipio_atualizado.sql | 6 +++--- .../br_anatel_telefonia_movel__densidade_uf.sql | 3 ++- .../br_anatel_telefonia_movel__densidade_uf_atualizado.sql | 5 +++-- .../br_anatel_telefonia_movel__microdados.sql | 6 +++--- .../br_anatel_telefonia_movel__microdados_atualizado.sql | 3 ++- models/br_anatel_telefonia_movel/schema.yml | 2 +- 9 files changed, 22 insertions(+), 18 deletions(-) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql index 70ced06d..d9c4eb28 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql @@ -5,5 +5,5 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_brasil AS t +WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql index fc2564b2..ae6eda6c 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql @@ -1,10 +1,11 @@ {{ config(alias='densidade_brasil_atualizado', schema='br_anatel_telefonia_movel', post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - + SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_brasil AS t + diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql index 0c1edf04..a76eec1c 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql @@ -11,7 +11,7 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) + labels = {'project_id': 'basedosdados-dev'}) }} SELECT @@ -22,5 +22,5 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_municipio AS t +WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql index d7a80bff..7bc209aa 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql @@ -11,11 +11,11 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}, + labels = {'project_id': 'basedosdados-dev'}, post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - + SELECT SAFE_CAST(ano AS INT64) ano, @@ -24,5 +24,5 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_municipio AS t diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql index 018e86f7..9a52a15a 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql @@ -5,5 +5,6 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t + +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_uf AS t WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql index 635b4ae9..b7e39f3d 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql @@ -1,10 +1,11 @@ {{ config(alias='densidade_uf_atualizado', schema='br_anatel_telefonia_movel', post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} - + SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_uf AS t + diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index 6bac9aac..fb86e473 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -11,7 +11,7 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) + labels = {'project_id': 'basedosdados-dev'}) }} @@ -31,5 +31,5 @@ SAFE_CAST(pessoa AS STRING) pessoa, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.microdados AS t +WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql index 0b014bfa..d9859021 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql @@ -16,6 +16,7 @@ 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} + SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, @@ -32,4 +33,4 @@ SAFE_CAST(pessoa AS STRING) pessoa, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos -FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t \ No newline at end of file +FROM basedosdados-dev.br_anatel_telefonia_movel_staging.microdados AS t diff --git a/models/br_anatel_telefonia_movel/schema.yml b/models/br_anatel_telefonia_movel/schema.yml index 9fa9ec52..0e6a84cc 100644 --- a/models/br_anatel_telefonia_movel/schema.yml +++ b/models/br_anatel_telefonia_movel/schema.yml @@ -138,4 +138,4 @@ models: - name: id_municipio description: ID Município - IBGE 7 Dígitos - name: densidade - description: Densidade de acessos por 100 domicílios \ No newline at end of file + description: Densidade de acessos por 100 domicílios From 6a74e1631c812fc5825bac6d2d353593fa620095 Mon Sep 17 00:00:00 2001 From: tricktx Date: Fri, 28 Jul 2023 18:23:53 -0300 Subject: [PATCH 09/16] add dbt --- ...tel_banda_larga_fixa__densidade_brasil.sql | 5 +-- ...arga_fixa__densidade_brasil_atualizado.sql | 10 ++++++ ..._banda_larga_fixa__densidade_municipio.sql | 21 ++++++++++-- ...a_fixa__densidade_municipio_atualizado.sql | 28 +++++++++++++++ ..._anatel_banda_larga_fixa__densidade_uf.sql | 2 ++ ...da_larga_fixa__densidade_uf_atualizado.sql | 11 ++++++ ...br_anatel_banda_larga_fixa__microdados.sql | 21 ++++++++++-- ...anda_larga_fixa__microdados_atualizado.sql | 34 +++++++++++++++++++ 8 files changed, 124 insertions(+), 8 deletions(-) create mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql create mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql create mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql create mode 100644 models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql index 4afc0ec6..9c2ca683 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil.sql @@ -4,5 +4,6 @@ SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql new file mode 100644 index 00000000..b990c0a0 --- /dev/null +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql @@ -0,0 +1,10 @@ +{{ config(alias='densidade_brasil_atualizado', schema='br_anatel_banda_larga_fixa', + post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} + +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(mes AS INT64) mes, +SAFE_CAST(densidade AS FLOAT64) densidade + +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql index b3c7edc6..16ac8e7d 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql @@ -1,4 +1,18 @@ -{{ config(alias='densidade_municipio', schema='br_anatel_banda_larga_fixa') }} +{{ config( + alias='densidade_municipio', + schema='br_anatel_banda_larga_fixa', + materialized='table', + partition_by={ + "field": "ano", + "data_type": "int64", + "range": { + "start": 2007, + "end": 2023, + "interval": 1} + }, + cluster_by = ["id_municipio", "mes"], + labels = {'project_id': 'basedosdados'}) + }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -6,5 +20,6 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(id_municipio AS STRING) id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql new file mode 100644 index 00000000..72327b97 --- /dev/null +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql @@ -0,0 +1,28 @@ +{{ config( + alias='densidade_municipio_atualizado', + schema='br_anatel_banda_larga_fixa', + materialized='table', + partition_by={ + "field": "ano", + "data_type": "int64", + "range": { + "start": 2007, + "end": 2023, + "interval": 1} + }, + cluster_by = ["id_municipio", "mes"], + labels = {'project_id': 'basedosdados'}, + post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) + }} + +SELECT + +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(mes AS INT64) mes, +SAFE_CAST(sigla_uf AS STRING) sigla_uf, +REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, +SAFE_CAST(densidade AS FLOAT64) densidade + +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_municipio AS t + diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql index 38af172b..2c026f5c 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf.sql @@ -6,3 +6,5 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql new file mode 100644 index 00000000..8a96cc43 --- /dev/null +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_uf_atualizado.sql @@ -0,0 +1,11 @@ +{{ config(alias='densidade_uf_atualizado', schema='br_anatel_banda_larga_fixa', + post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} + +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(mes AS INT64) mes, +SAFE_CAST(sigla_uf AS STRING) sigla_uf, +SAFE_CAST(densidade AS FLOAT64) densidade +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_uf AS t + diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql index 70d13e11..6c299859 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql @@ -1,4 +1,18 @@ -{{ config(alias='microdados', schema='br_anatel_banda_larga_fixa') }} +{{ config( + alias='microdados', + schema='br_anatel_banda_larga_fixa', + materialized='table', + partition_by={ + "field": "ano", + "data_type": "int64", + "range": { + "start": 2007, + "end": 2023, + "interval": 1} + }, + cluster_by = ["id_municipio", "mes"], + labels = {'project_id': 'basedosdados'}) + }} SELECT SAFE_CAST(ano AS INT64) ano, @@ -13,5 +27,6 @@ SAFE_CAST(transmissao AS STRING) transmissao, SAFE_CAST(velocidade AS STRING) velocidade, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos - -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql new file mode 100644 index 00000000..4b929c57 --- /dev/null +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados_atualizado.sql @@ -0,0 +1,34 @@ +{{ config( + alias='microdados_atualizado', + schema='br_anatel_banda_larga_fixa', + materialized='table', + partition_by={ + "field": "ano", + "data_type": "int64", + "range": { + "start": 2007, + "end": 2023, + "interval": 1} + }, + cluster_by = ["id_municipio", "mes"], + labels = {'project_id': 'basedosdados'}, + post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) + }} + + +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(mes AS INT64) mes, +SAFE_CAST(sigla_uf AS STRING) sigla_uf, +SAFE_CAST(id_municipio AS STRING) id_municipio, +SAFE_CAST(cnpj AS STRING) cnpj, +SAFE_CAST(empresa AS STRING) empresa, +SAFE_CAST(porte_empresa AS STRING) porte_empresa, +SAFE_CAST(tecnologia AS STRING) tecnologia, +SAFE_CAST(transmissao AS STRING) transmissao, +SAFE_CAST(velocidade AS STRING) velocidade, +SAFE_CAST(produto AS STRING) produto, +SAFE_CAST(acessos AS INT64) acessos + +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.microdados AS t From f956662fa6624aa31190f419df0fcb060a9c723e Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 31 Jul 2023 10:55:41 -0300 Subject: [PATCH 10/16] dev para prod --- ...arga_fixa__densidade_brasil_atualizado.sql | 3 +- ..._banda_larga_fixa__densidade_municipio.sql | 15 +---- ...a_fixa__densidade_municipio_atualizado.sql | 19 +----- ...br_anatel_banda_larga_fixa__microdados.sql | 2 +- models/br_anatel_banda_larga_fixa/schema.yml | 66 ++++++++++++++++++- ...atel_telefonia_movel__densidade_brasil.sql | 5 +- ...nia_movel__densidade_brasil_atualizado.sql | 2 +- ...l_telefonia_movel__densidade_municipio.sql | 24 ++----- ..._movel__densidade_municipio_atualizado.sql | 20 +----- ...r_anatel_telefonia_movel__densidade_uf.sql | 5 +- ...lefonia_movel__densidade_uf_atualizado.sql | 2 +- .../br_anatel_telefonia_movel__microdados.sql | 5 +- ...telefonia_movel__microdados_atualizado.sql | 2 +- models/br_anatel_telefonia_movel/schema.yml | 2 +- 14 files changed, 94 insertions(+), 78 deletions(-) diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql index b990c0a0..cf276511 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_brasil_atualizado.sql @@ -7,4 +7,5 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t \ No newline at end of file +FROM basedosdados-staging.br_anatel_banda_larga_fixa_staging.densidade_brasil AS t + diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql index 16ac8e7d..91d64756 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio.sql @@ -1,18 +1,7 @@ {{ config( alias='densidade_municipio', - schema='br_anatel_banda_larga_fixa', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2007, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) - }} + schema='br_anatel_banda_larga_fixa') + }} SELECT SAFE_CAST(ano AS INT64) ano, diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql index 72327b97..e803e138 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__densidade_municipio_atualizado.sql @@ -1,20 +1,7 @@ -{{ config( - alias='densidade_municipio_atualizado', - schema='br_anatel_banda_larga_fixa', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2007, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}, +{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_banda_larga_fixa', post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} + SELECT diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql index 6c299859..25424a73 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql @@ -11,7 +11,7 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados'}) + labels = {'project_id': 'basedosdados-dev'}) }} SELECT diff --git a/models/br_anatel_banda_larga_fixa/schema.yml b/models/br_anatel_banda_larga_fixa/schema.yml index c097730f..1a7c7845 100644 --- a/models/br_anatel_banda_larga_fixa/schema.yml +++ b/models/br_anatel_banda_larga_fixa/schema.yml @@ -27,7 +27,7 @@ models: - name: produto description: Tipo de Produto - name: acessos - description: Número total de acessos + description: Número total de contratos - name: br_anatel_banda_larga_fixa__densidade_brasil description: "Total de acessos e densidade por domicílio da Banda Larga Fixa no Brasil por mês e ano desde março de 2007" @@ -64,3 +64,67 @@ models: description: ID Município - IBGE 7 Dígitos - name: densidade description: Densidade de acessos por 100 domicílios + + - name: br_anatel_banda_larga_fixa__microdados_atualizado + description: "Microdados de banda larga fixa (também conhecido como Serviço de Comunicação Multimídia) a partir de 2007 que traz dados mensais acerca da empresa ofertante e das especificações técnicas do serviço." + columns: + - name: ano + description: Ano + - name: mes + description: Mês + - name: sigla_uf + description: Sigla da Unidade da Federação + - name: id_municipio + description: ID Município - IBGE 7 Dígitos + - name: cnpj + description: Cadastro Nacional de Pessoa Jurídica + - name: empresa + description: Nome da empresa + - name: porte_empresa + description: Porte da empresa + - name: tecnologia + description: Tecnologia + - name: transmissao + description: Meios de transmissão + - name: velocidade + description: Velocidade contratada + - name: produto + description: Tipo de Produto + - name: acessos + description: Número total de contratos + + - name: br_anatel_banda_larga_fixa__densidade_brasil_atualizado + description: "Total de acessos e densidade por domicílio da Banda Larga Fixa no Brasil por mês e ano desde março de 2007" + columns: + - name: ano + description: Ano + - name: mes + description: Mês + - name: densidade + description: Densidade de acessos por 100 domicílios + + - name: br_anatel_banda_larga_fixa__densidade_uf_atualizado + description: "Total de acessos e densidade por domicílio da Banda Larga Fixa nos estados por mês e ano desde março de 2007" + columns: + - name: ano + description: Ano + - name: mes + description: Mês + - name: sigla_uf + description: Sigla da Unidade da Federação + - name: densidade + description: Densidade de acessos por 100 domicílios + + - name: br_anatel_banda_larga_fixa__densidade_municipio_atualizado + description: "Total de acessos e densidade por domicílio da Banda Larga Fixa nos estados por mês e ano desde março de 2007" + columns: + - name: ano + description: Ano + - name: mes + description: Mês + - name: sigla_uf + description: Sigla da Unidade da Federação + - name: id_municipio + description: ID Município - IBGE 7 Dígitos + - name: densidade + description: Densidade de acessos por 100 domicílios \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql index d9c4eb28..b5278763 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql @@ -5,5 +5,6 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_brasil AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql index ae6eda6c..50dee8b6 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil_atualizado.sql @@ -7,5 +7,5 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_brasil AS t +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql index a76eec1c..9109d2e4 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql @@ -1,26 +1,12 @@ -{{ config( - alias='densidade_municipio', - schema='br_anatel_telefonia_movel', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2019, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados-dev'}) - }} - -SELECT +{{ config(alias='densidade_municipio', schema='br_anatel_telefonia_movel') }} +SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_municipio AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql index 7bc209aa..94f0ffd1 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio_atualizado.sql @@ -1,20 +1,6 @@ -{{ config( - alias='densidade_municipio_atualizado', - schema='br_anatel_telefonia_movel', - materialized='table', - partition_by={ - "field": "ano", - "data_type": "int64", - "range": { - "start": 2019, - "end": 2023, - "interval": 1} - }, - cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados-dev'}, +{{ config(alias='densidade_municipio_atualizado', schema='br_anatel_telefonia_movel', post_hook=['REVOKE `roles/bigquery.dataViewer` ON TABLE {{ this }} FROM "specialGroup:allUsers"', - 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) - }} + 'GRANT `roles/bigquery.dataViewer` ON TABLE {{ this }} TO "group:bd-pro@basedosdados.org"']) }} SELECT @@ -24,5 +10,5 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_municipio AS t +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql index 9a52a15a..92c0ead2 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql @@ -6,5 +6,6 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_uf AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 \ No newline at end of file +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql index b7e39f3d..fe074d43 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf_atualizado.sql @@ -7,5 +7,5 @@ SAFE_CAST(ano AS INT64) ano, SAFE_CAST(mes AS INT64) mes, SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.densidade_uf AS t +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index fb86e473..cc8920d9 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -31,5 +31,6 @@ SAFE_CAST(pessoa AS STRING) pessoa, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.microdados AS t -WHERE DATE_DIFF(CURRENT_DATE(),DATE(SAFE_CAST(ano AS INT64),SAFE_CAST(mes AS INT64),01),month) >= 6 +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 + OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql index d9859021..13022c6a 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados_atualizado.sql @@ -33,4 +33,4 @@ SAFE_CAST(pessoa AS STRING) pessoa, SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos -FROM basedosdados-dev.br_anatel_telefonia_movel_staging.microdados AS t +FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t diff --git a/models/br_anatel_telefonia_movel/schema.yml b/models/br_anatel_telefonia_movel/schema.yml index 0e6a84cc..9fa9ec52 100644 --- a/models/br_anatel_telefonia_movel/schema.yml +++ b/models/br_anatel_telefonia_movel/schema.yml @@ -138,4 +138,4 @@ models: - name: id_municipio description: ID Município - IBGE 7 Dígitos - name: densidade - description: Densidade de acessos por 100 domicílios + description: Densidade de acessos por 100 domicílios \ No newline at end of file From a7a80a6fb18ded9a57ec4694a47215990f412d32 Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 31 Jul 2023 11:09:47 -0300 Subject: [PATCH 11/16] bd pro seis meses --- .../br_anatel_telefonia_movel__densidade_brasil.sql | 1 - .../br_anatel_telefonia_movel__densidade_municipio.sql | 1 - .../br_anatel_telefonia_movel__densidade_uf.sql | 3 +-- .../br_anatel_telefonia_movel__microdados.sql | 1 - 4 files changed, 1 insertion(+), 5 deletions(-) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql index b5278763..162b666b 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql @@ -7,4 +7,3 @@ SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql index 9109d2e4..2df89917 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql @@ -9,4 +9,3 @@ SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql index 92c0ead2..792d90df 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql @@ -7,5 +7,4 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) \ No newline at end of file +WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index cc8920d9..4272282b 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -33,4 +33,3 @@ SAFE_CAST(acessos AS INT64) acessos FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 - OR DATE_DIFF(DATE(2023,5,1),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 0) From d826be65c036328560964010b10248762d00bceb Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 31 Jul 2023 11:38:54 -0300 Subject: [PATCH 12/16] labels --- .../br_anatel_banda_larga_fixa__microdados.sql | 2 +- .../br_anatel_telefonia_movel__microdados.sql | 2 +- models/br_anatel_telefonia_movel/schema.yml | 2 +- 3 files changed, 3 insertions(+), 3 deletions(-) diff --git a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql index 25424a73..6c299859 100644 --- a/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql +++ b/models/br_anatel_banda_larga_fixa/br_anatel_banda_larga_fixa__microdados.sql @@ -11,7 +11,7 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados-dev'}) + labels = {'project_id': 'basedosdados'}) }} SELECT diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index 4272282b..21f1edb9 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -11,7 +11,7 @@ "interval": 1} }, cluster_by = ["id_municipio", "mes"], - labels = {'project_id': 'basedosdados-dev'}) + labels = {'project_id': 'basedosdados'}) }} diff --git a/models/br_anatel_telefonia_movel/schema.yml b/models/br_anatel_telefonia_movel/schema.yml index 9fa9ec52..458dc5f6 100644 --- a/models/br_anatel_telefonia_movel/schema.yml +++ b/models/br_anatel_telefonia_movel/schema.yml @@ -70,7 +70,7 @@ models: description: Densidade de acessos por 100 domicílios - # ! modelo dbt para bd pro ! + # ! modelo dbt para bd pro - name: br_anatel_telefonia_movel__microdados_atualizado description: "Dados de telefonia móvel (também conhecido como Serviço Móvel Pessoal) a partir de 2019, após reformulação da coleta e divulgação de dados por parte da Anatel, que apresentam o município como menor nível de desagregação dos dados." From f99be253cfc6ed15bd3041ae44ff0be429620b1a Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 31 Jul 2023 15:10:19 -0300 Subject: [PATCH 13/16] DATE_DIFF --- .../br_anatel_telefonia_movel__densidade_brasil.sql | 2 +- .../br_anatel_telefonia_movel__densidade_municipio.sql | 2 +- .../br_anatel_telefonia_movel__densidade_uf.sql | 2 +- .../br_anatel_telefonia_movel__microdados.sql | 2 +- 4 files changed, 4 insertions(+), 4 deletions(-) diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql index 162b666b..27a13430 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_brasil.sql @@ -6,4 +6,4 @@ SAFE_CAST(mes AS INT64) mes, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_brasil AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 +WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql index 2df89917..1597f95e 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_municipio.sql @@ -8,4 +8,4 @@ REPLACE(CAST(id_municipio AS STRING), '.0', '') id_municipio, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_municipio AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 +WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql index 792d90df..c276bce5 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__densidade_uf.sql @@ -7,4 +7,4 @@ SAFE_CAST(sigla_uf AS STRING) sigla_uf, SAFE_CAST(densidade AS FLOAT64) densidade FROM basedosdados-staging.br_anatel_telefonia_movel_staging.densidade_uf AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 \ No newline at end of file +WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 \ No newline at end of file diff --git a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql index 21f1edb9..43c5dff9 100644 --- a/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql +++ b/models/br_anatel_telefonia_movel/br_anatel_telefonia_movel__microdados.sql @@ -32,4 +32,4 @@ SAFE_CAST(produto AS STRING) produto, SAFE_CAST(acessos AS INT64) acessos FROM basedosdados-staging.br_anatel_telefonia_movel_staging.microdados AS t -WHERE (DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 +WHERE DATE_DIFF(CURRENT_DATE(),DATE(CAST(ano AS INT64),CAST(mes AS INT64),1), MONTH) > 6 From 56e886650e6f94694f600f7f586a4911dd3ef62c Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 31 Jul 2023 15:12:09 -0300 Subject: [PATCH 14/16] schema --- models/br_anatel_telefonia_movel/schema.yml | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/models/br_anatel_telefonia_movel/schema.yml b/models/br_anatel_telefonia_movel/schema.yml index 458dc5f6..d3e6103f 100644 --- a/models/br_anatel_telefonia_movel/schema.yml +++ b/models/br_anatel_telefonia_movel/schema.yml @@ -138,4 +138,5 @@ models: - name: id_municipio description: ID Município - IBGE 7 Dígitos - name: densidade - description: Densidade de acessos por 100 domicílios \ No newline at end of file + description: Densidade de acessos por 100 domicílios + \ No newline at end of file From 42f87ee493d2c74c85514b31461a549edf46da6c Mon Sep 17 00:00:00 2001 From: Laura Amaral Date: Tue, 1 Aug 2023 11:01:58 -0300 Subject: [PATCH 15/16] fix br_br_indicadores_contabilidade --- models/br_bd_indicadores/contabilidade.sql | 13 +++++++------ models/br_bd_indicadores/schema.yml | 4 +++- 2 files changed, 10 insertions(+), 7 deletions(-) diff --git a/models/br_bd_indicadores/contabilidade.sql b/models/br_bd_indicadores/contabilidade.sql index 822c59d2..4320ef6f 100644 --- a/models/br_bd_indicadores/contabilidade.sql +++ b/models/br_bd_indicadores/contabilidade.sql @@ -1,10 +1,11 @@ SELECT -SAFE_CAST(ano_competencia AS INT64) ano_competencia, -SAFE_CAST(mes_competencia AS INT64) mes_competencia, -SAFE_CAST(ano_caixa AS INT64) ano_caixa, -SAFE_CAST(mes_caixa AS INT64) mes_caixa, +SAFE_CAST(SAFE_CAST(ano_competencia AS NUMERIC) AS INT64) ano_competencia, +SAFE_CAST(SAFE_CAST(mes_competencia AS NUMERIC) AS INT64) mes_competencia, +SAFE_CAST(SAFE_CAST(ano_caixa AS NUMERIC) AS INT64) ano_caixa, +SAFE_CAST(SAFE_CAST(mes_caixa AS NUMERIC) AS INT64) mes_caixa, SAFE_CAST(categoria AS STRING) categoria, SAFE_CAST(tipo AS STRING) tipo, SAFE_CAST(frequencia AS STRING) frequencia, -SAFE_CAST(valor AS FLOAT64) valor -FROM basedosdados-staging.br_bd_indicadores_staging.contabilidade AS t \ No newline at end of file +SAFE_CAST(equipe AS STRING) equipe, +SAFE_CAST(SAFE_CAST(valor AS NUMERIC) AS FLOAT64) valor +FROM basedosdados-dev.br_bd_indicadores_staging.contabilidade AS t \ No newline at end of file diff --git a/models/br_bd_indicadores/schema.yml b/models/br_bd_indicadores/schema.yml index bbc43610..2d4b8a4d 100644 --- a/models/br_bd_indicadores/schema.yml +++ b/models/br_bd_indicadores/schema.yml @@ -79,7 +79,7 @@ models: - name: new_users description: Number of new users in that date - name: contabilidade - description: "contabilidade da BD" + description: "contabilidade da BD." columns: - name: ano_competencia description: "ano de competência" @@ -95,6 +95,8 @@ models: description: "tipo de despesa" - name: frequencia description: "frequência de pagamento" + - name: equipe + description: "equipe relacionada a despesa" - name: valor description: "valor da despesa" - name: receitas_planejadas From f5fa36d19428c107c00b89ec2c1246951d01146a Mon Sep 17 00:00:00 2001 From: Laura Amaral Date: Tue, 1 Aug 2023 11:03:32 -0300 Subject: [PATCH 16/16] change project to staging --- models/br_bd_indicadores/contabilidade.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/models/br_bd_indicadores/contabilidade.sql b/models/br_bd_indicadores/contabilidade.sql index 4320ef6f..cf4340b5 100644 --- a/models/br_bd_indicadores/contabilidade.sql +++ b/models/br_bd_indicadores/contabilidade.sql @@ -8,4 +8,4 @@ SAFE_CAST(tipo AS STRING) tipo, SAFE_CAST(frequencia AS STRING) frequencia, SAFE_CAST(equipe AS STRING) equipe, SAFE_CAST(SAFE_CAST(valor AS NUMERIC) AS FLOAT64) valor -FROM basedosdados-dev.br_bd_indicadores_staging.contabilidade AS t \ No newline at end of file +FROM basedosdados-staging.br_bd_indicadores_staging.contabilidade AS t \ No newline at end of file