From ebf4bc200c5e92a37820bf13b7b8aeb82023fdd3 Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 24 Jul 2023 10:22:58 -0300 Subject: [PATCH 1/3] bolsas cnpq atualizacao --- models/br_cnpq_bolsas/bolsas.sql | 33 ++++++++++++++++ models/br_cnpq_bolsas/schema.yml | 68 ++++++++++++++++++++++++++++++++ 2 files changed, 101 insertions(+) create mode 100644 models/br_cnpq_bolsas/bolsas.sql create mode 100644 models/br_cnpq_bolsas/schema.yml diff --git a/models/br_cnpq_bolsas/bolsas.sql b/models/br_cnpq_bolsas/bolsas.sql new file mode 100644 index 00000000..9b35db95 --- /dev/null +++ b/models/br_cnpq_bolsas/bolsas.sql @@ -0,0 +1,33 @@ +SELECT +SAFE_CAST(ano AS INT64) ano, +SAFE_CAST(processo AS STRING) processo, +SAFE_CAST(data_inicio_processo AS DATE) data_inicio_processo, +SAFE_CAST(data_fim_processo AS DATE) data_fim_processo, +SAFE_CAST(beneficiario AS STRING) beneficiario, +SAFE_CAST(titulo_projeto AS STRING) titulo_projeto, +SAFE_CAST(palavra_chave AS STRING) palavra_chave, +SAFE_CAST(linha_fomento AS STRING) linha_fomento, +SAFE_CAST(modalidade AS STRING) modalidade, +SAFE_CAST(categoria_nivel AS STRING) categoria_nivel, +SAFE_CAST(chamada AS STRING) chamada, +SAFE_CAST(programa_cnpq AS STRING) programa_cnpq, +SAFE_CAST(grande_area_conhecimento AS STRING) grande_area_conhecimento, +SAFE_CAST(area_conhecimento AS STRING) area_conhecimento, +SAFE_CAST(subarea_conhecimento AS STRING) subarea_conhecimento, +SAFE_CAST(pais_origem AS STRING) pais_origem, +SAFE_CAST(sigla_uf_origem AS STRING) sigla_uf_origem, +SAFE_CAST(instituicao_origem AS STRING) instituicao_origem, +SAFE_CAST(pais_destino AS STRING) pais_destino, +SAFE_CAST(sigla_uf_destino AS STRING) sigla_uf_destino, +SAFE_CAST(municipio_destino AS STRING) municipio_destino, +SAFE_CAST(sigla_instituicao_destino AS STRING) sigla_instituicao_destino, +SAFE_CAST(sigla_instituicao_macro AS STRING) sigla_instituicao_macro, +SAFE_CAST(instituicao_destino AS STRING) instituicao_destino, +SAFE_CAST(plano_interno AS STRING) plano_interno, +SAFE_CAST(unidade_orcamentaria AS STRING) unidade_orcamentaria, +SAFE_CAST(fonte_recurso AS STRING) fonte_recurso, +SAFE_CAST(natureza_despesa AS STRING) natureza_despesa, +SAFE_CAST(programa_ppa AS STRING) programa_ppa, +SAFE_CAST(acao_ppa AS STRING) acao_ppa, +SAFE_CAST(valor AS FLOAT64) valor +FROM basedosdados-staging.br_cnpq_bolsas_staging.microdados AS t \ No newline at end of file diff --git a/models/br_cnpq_bolsas/schema.yml b/models/br_cnpq_bolsas/schema.yml new file mode 100644 index 00000000..bde4419d --- /dev/null +++ b/models/br_cnpq_bolsas/schema.yml @@ -0,0 +1,68 @@ +version: 2 + +models: + - name: bolsas + description: "Dados acerca dos pagamentos efetuados pelo CNPq para projetos de pesquisa" + columns: + - name: ano + description: Ano + - name: processo + description: Numero do processo + - name: data_inicio_processo + description: Data de início do processo + - name: data_fim_processo + description: Data de término do processo + - name: beneficiario + description: Nome do beneficiário + - name: titulo_projeto + description: Título do projeto da bolsa + - name: palavra_chave + description: Palavras Chave + - name: linha_fomento + description: Linha de Fomento da bolsa + - name: modalidade + description: Modalidade da bolsa + - name: categoria_nivel + description: Categoria/Nível + - name: chamada + description: Nome Chamada + - name: programa_cnpq + description: Programa CNPq + - name: grande_area_conhecimento + description: Grande Área do conhecimento + - name: area_conhecimento + description: Área do conhecimento + - name: subarea_conhecimento + description: Subárea do conhecimento + - name: pais_origem + description: País de origem + - name: sigla_uf_origem + description: Sigla da Unidade da Federação de origem + - name: instituicao_origem + description: Nome da Instituição de origem + - name: pais_destino + description: País de destino + - name: sigla_uf_destino + description: Sigla da Unidade da Federação de destino + - name: municipio_destino + description: Nome do município de destino + - name: sigla_instituicao_destino + description: Sigla da Instituição de destino + - name: sigla_instituicao_macro + description: Sigla da Instituição Macro + - name: instituicao_destino + description: Instituição de destino + - name: plano_interno + description: Plano interno + - name: unidade_orcamentaria + description: Unidade Orçamentária do recurso + - name: fonte_recurso + description: Fonte do recurso + - name: natureza_despesa + description: Natureza da despesa + - name: programa_ppa + description: Programa Plano Plurianual + - name: acao_ppa + description: Ação Plano Plurianual + - name: valor + description: Valor pago da bolsa \ No newline at end of file From f55e6f9a27c4bd424b5c2e1523ecd35acb43686b Mon Sep 17 00:00:00 2001 From: tricktx Date: Mon, 24 Jul 2023 16:19:27 -0300 Subject: [PATCH 2/3] model dbt prod --- dbt_project.yml | 3 +++ .../{bolsas.sql => br_cnpq_bolsas__microdados.sql} | 4 +++- models/br_cnpq_bolsas/schema.yml | 2 +- 3 files changed, 7 insertions(+), 2 deletions(-) rename models/br_cnpq_bolsas/{bolsas.sql => br_cnpq_bolsas__microdados.sql} (93%) diff --git a/dbt_project.yml b/dbt_project.yml index 125b0912..0cebeae8 100644 --- a/dbt_project.yml +++ b/dbt_project.yml @@ -70,6 +70,9 @@ models: br_cgu_pessoal_executivo_federal: +materialized: table +schema: br_cgu_pessoal_executivo_federal + br_cnpq_bolsas: + +materialized: table + +schema: br_cnpq_bolsas br_cvm_administradores_carteira: +materialized: table +schema: br_cvm_administradores_carteira diff --git a/models/br_cnpq_bolsas/bolsas.sql b/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql similarity index 93% rename from models/br_cnpq_bolsas/bolsas.sql rename to models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql index 9b35db95..fce82aa5 100644 --- a/models/br_cnpq_bolsas/bolsas.sql +++ b/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql @@ -1,3 +1,5 @@ +{{config(alias='microdados', schema='br_cnpq_bolsas')}} + SELECT SAFE_CAST(ano AS INT64) ano, SAFE_CAST(processo AS STRING) processo, @@ -30,4 +32,4 @@ SAFE_CAST(natureza_despesa AS STRING) natureza_despesa, SAFE_CAST(programa_ppa AS STRING) programa_ppa, SAFE_CAST(acao_ppa AS STRING) acao_ppa, SAFE_CAST(valor AS FLOAT64) valor -FROM basedosdados-staging.br_cnpq_bolsas_staging.microdados AS t \ No newline at end of file +FROM basedosdados-dev.br_cnpq_bolsas_staging.microdados AS t \ No newline at end of file diff --git a/models/br_cnpq_bolsas/schema.yml b/models/br_cnpq_bolsas/schema.yml index bde4419d..aa456aed 100644 --- a/models/br_cnpq_bolsas/schema.yml +++ b/models/br_cnpq_bolsas/schema.yml @@ -1,7 +1,7 @@ version: 2 models: - - name: bolsas + - name: br_cnpq_bolsas__microdados description: "Dados acerca dos pagamentos efetuados pelo CNPq para projetos de pesquisa" columns: - name: ano From dc13b5850905a38ed7e25f56a7edeeb1298274f2 Mon Sep 17 00:00:00 2001 From: Patrick Teixeira <105399231+tricktx@users.noreply.github.com> Date: Mon, 24 Jul 2023 16:21:49 -0300 Subject: [PATCH 3/3] staging --- models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql b/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql index fce82aa5..3e27b152 100644 --- a/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql +++ b/models/br_cnpq_bolsas/br_cnpq_bolsas__microdados.sql @@ -32,4 +32,4 @@ SAFE_CAST(natureza_despesa AS STRING) natureza_despesa, SAFE_CAST(programa_ppa AS STRING) programa_ppa, SAFE_CAST(acao_ppa AS STRING) acao_ppa, SAFE_CAST(valor AS FLOAT64) valor -FROM basedosdados-dev.br_cnpq_bolsas_staging.microdados AS t \ No newline at end of file +FROM basedosdados-staging.br_cnpq_bolsas_staging.microdados AS t