From d03ace3af76d6b358820c27dac7163a5b41849a0 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Wed, 20 Sep 2023 13:47:46 -0300 Subject: [PATCH 1/5] Registra novos modelos dbt da cvm --- ...dministradores_carteira__pessoa_fisica.sql | 30 +++++++++++++++++++ ...nistradores_carteira__pessoa_juridica.sql} | 22 ++++++++++++++ ...administradores_carteira__responsavel.sql} | 7 +++++ .../pessoa_fisica.sql | 9 ------ .../schema.yml | 12 ++++---- ..._cvm_oferta_publica_distribuicao__dia.sql} | 22 ++++++++++++++ .../schema.yml | 4 +-- 7 files changed, 89 insertions(+), 17 deletions(-) create mode 100644 models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql rename models/br_cvm_administradores_carteira/{pessoa_juridica.sql => br_cvm_administradores_carteira__pessoa_juridica.sql} (58%) rename models/br_cvm_administradores_carteira/{responsavel.sql => br_cvm_administradores_carteira__responsavel.sql} (58%) delete mode 100644 models/br_cvm_administradores_carteira/pessoa_fisica.sql rename models/br_cvm_oferta_publica_distribuicao/{dia.sql => br_cvm_oferta_publica_distribuicao__dia.sql} (73%) diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql new file mode 100644 index 00000000..fda0dbba --- /dev/null +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql @@ -0,0 +1,30 @@ +{{ + config( + alias = 'pessoa_fisica', + schema='br_cvm_administradores_carteira', + materialized='incremental', + partition_by = { + "field": "data_registro", + "data_type": "date", + "granularity": "day" + }, + pre_hook = "DROP ALL ROW ACCESS POLICIES ON {{ this }}", + post_hook=['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (EXTRACT(YEAR from data_registro) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] + ) + }} +SELECT +SAFE_CAST(nome AS STRING) nome, +SAFE_CAST(data_registro AS DATE) data_registro, +SAFE_CAST(data_cancelamento AS DATE) data_cancelamento, +SAFE_CAST(motivo_cancelamento AS STRING) motivo_cancelamento, +SAFE_CAST(situacao AS STRING) situacao, +SAFE_CAST(data_inicio_situacao AS DATE) data_inicio_situacao, +SAFE_CAST(categoria_registro AS STRING) categoria_registro +FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_fisica AS t diff --git a/models/br_cvm_administradores_carteira/pessoa_juridica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql similarity index 58% rename from models/br_cvm_administradores_carteira/pessoa_juridica.sql rename to models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql index 9ba9e906..c8cce57a 100644 --- a/models/br_cvm_administradores_carteira/pessoa_juridica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql @@ -1,3 +1,25 @@ +{{ + config( + alias = 'pessoa_juridica', + schema='br_cvm_administradores_carteira', + materialized='incremental', + partition_by = { + "field": "data_registro", + "data_type": "date", + "granularity": "day" + }, + pre_hook = "DROP ALL ROW ACCESS POLICIES ON {{ this }}", + post_hook=['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (EXTRACT(YEAR from data_registro) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] + ) + }} + SELECT SAFE_CAST(cnpj AS STRING) cnpj, SAFE_CAST(denominacao_social AS STRING) denominacao_social, diff --git a/models/br_cvm_administradores_carteira/responsavel.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql similarity index 58% rename from models/br_cvm_administradores_carteira/responsavel.sql rename to models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql index 17a538d5..b7e39c3a 100644 --- a/models/br_cvm_administradores_carteira/responsavel.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql @@ -1,3 +1,10 @@ +{{ + config( + alias = 'responsavel', + schema='br_cvm_administradores_carteira', + materialized='incremental', + ) + }} SELECT SAFE_CAST(cnpj AS STRING) cnpj, SAFE_CAST(nome AS STRING) nome, diff --git a/models/br_cvm_administradores_carteira/pessoa_fisica.sql b/models/br_cvm_administradores_carteira/pessoa_fisica.sql deleted file mode 100644 index 5ff17cdb..00000000 --- a/models/br_cvm_administradores_carteira/pessoa_fisica.sql +++ /dev/null @@ -1,9 +0,0 @@ -SELECT -SAFE_CAST(nome AS STRING) nome, -SAFE_CAST(data_registro AS DATE) data_registro, -SAFE_CAST(data_cancelamento AS DATE) data_cancelamento, -SAFE_CAST(motivo_cancelamento AS STRING) motivo_cancelamento, -SAFE_CAST(situacao AS STRING) situacao, -SAFE_CAST(data_inicio_situacao AS DATE) data_inicio_situacao, -SAFE_CAST(categoria_registro AS STRING) categoria_registro -FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_fisica AS t diff --git a/models/br_cvm_administradores_carteira/schema.yml b/models/br_cvm_administradores_carteira/schema.yml index bfe3771c..5c806e22 100644 --- a/models/br_cvm_administradores_carteira/schema.yml +++ b/models/br_cvm_administradores_carteira/schema.yml @@ -1,8 +1,8 @@ version: 2 models: - - name: pessoa_fisica - description: "dbt model for pessoa_fisica" + - name: br_cvm_administradores_carteira__pessoa_fisica + description: Dados Cadastrais de Administradores de Carteira da CVM (Pessoa Física) columns: - name: nome description: Nome @@ -18,8 +18,8 @@ models: description: Data de início da situação - name: categoria_registro description: Categoria de registro - - name: pessoa_juridica - description: "dbt model for pessoa_juridica" + - name: br_cvm_administradores_carteira__pessoa_juridica + description: Dados Cadastrais de Administradores de Carteira da CVM (Pessoa Jurídica) columns: - name: cnpj description: Cadastro Nacional de Pessoas Jurídicas (CNPJ) @@ -69,8 +69,8 @@ models: description: Email - name: website description: Website - - name: responsavel - description: "dbt model for responsavel" + - name: br_cvm_administradores_carteira__responsavel + description: Dados Cadastrais de Administradores de Carteira da CVM. columns: - name: cnpj description: Cadastro Nacional de Pessoas Jurídicas (CNPJ) diff --git a/models/br_cvm_oferta_publica_distribuicao/dia.sql b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql similarity index 73% rename from models/br_cvm_oferta_publica_distribuicao/dia.sql rename to models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql index 57996280..5d8fcfd7 100644 --- a/models/br_cvm_oferta_publica_distribuicao/dia.sql +++ b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql @@ -1,3 +1,25 @@ +{{ + config( + alias = 'dia', + schema='br_cvm_oferta_publica_distribuicao', + materialized='incremental', + partition_by = { + "field": "data_abertura_processo", + "data_type": "date", + "granularity": "day" + }, + pre_hook = "DROP ALL ROW ACCESS POLICIES ON {{ this }}", + post_hook=['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter + ON {{this}} + GRANT TO ("allUsers") + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_abertura_processo), MONTH) > 6)', + 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter + ON {{this}} + GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") + FILTER USING (EXTRACT(YEAR from data_abertura_processo) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] + ) + }} + SELECT SAFE_CAST(numero_processo AS STRING) numero_processo, SAFE_CAST(numero_registro_oferta AS STRING) numero_registro_oferta, diff --git a/models/br_cvm_oferta_publica_distribuicao/schema.yml b/models/br_cvm_oferta_publica_distribuicao/schema.yml index 7d908b1b..a0f92c57 100644 --- a/models/br_cvm_oferta_publica_distribuicao/schema.yml +++ b/models/br_cvm_oferta_publica_distribuicao/schema.yml @@ -1,8 +1,8 @@ version: 2 models: - - name: dia - description: "dbt model for table dia" + - name: br_cvm_oferta_publica_distribuicao__dia + description: Ofertas de distribuição (ações, fundos, debêntures, CRI, etc) registradas ou dispensadas de registro. columns: - name: numero_processo description: Número do processo administrativo From e918073a9bc7c27d8668cb1f6bdedd6d3ac57899 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Wed, 20 Sep 2023 16:10:02 -0300 Subject: [PATCH 2/5] =?UTF-8?q?faz=20altera=C3=A7=C3=B5es=20solicitadas?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...r_cvm_administradores_carteira__pessoa_fisica.sql | 9 ++++++++- ...cvm_administradores_carteira__pessoa_juridica.sql | 11 +++++++++-- .../br_cvm_administradores_carteira__responsavel.sql | 4 ++-- .../br_cvm_oferta_publica_distribuicao__dia.sql | 12 +++++++++--- 4 files changed, 28 insertions(+), 8 deletions(-) diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql index fda0dbba..88e2b59d 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql @@ -16,7 +16,7 @@ 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING (EXTRACT(YEAR from data_registro) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] + FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] ) }} SELECT @@ -28,3 +28,10 @@ SAFE_CAST(situacao AS STRING) situacao, SAFE_CAST(data_inicio_situacao AS DATE) data_inicio_situacao, SAFE_CAST(categoria_registro AS STRING) categoria_registro FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_fisica AS t +{% if is_incremental() %} + + -- this filter will only be applied on an incremental run + -- (uses > to include records whose timestamp occurred since the last run of this model) + where data_registro > (select max(data_registro) from {{ this }}) + +{% endif %} \ No newline at end of file diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql index c8cce57a..af09a6ca 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql @@ -16,7 +16,7 @@ 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING (EXTRACT(YEAR from data_registro) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] + FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)' ] ) }} @@ -45,4 +45,11 @@ SAFE_CAST(valor_patrimonial_liquido AS STRING) valor_patrimonial_liquido, SAFE_CAST(data_patrimonio_liquido AS DATE) data_patrimonio_liquido, SAFE_CAST(email AS STRING) email, SAFE_CAST(website AS STRING) website -FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_juridica AS t \ No newline at end of file +FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_juridica AS t +{% if is_incremental() %} + + -- this filter will only be applied on an incremental run + -- (uses > to include records whose timestamp occurred since the last run of this model) + where data_registro > (select max(data_registro) from {{ this }}) + +{% endif %} \ No newline at end of file diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql index b7e39c3a..8b29e4e5 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__responsavel.sql @@ -2,11 +2,11 @@ config( alias = 'responsavel', schema='br_cvm_administradores_carteira', - materialized='incremental', + materialized='table', ) }} SELECT SAFE_CAST(cnpj AS STRING) cnpj, SAFE_CAST(nome AS STRING) nome, SAFE_CAST(tipo AS STRING) tipo -FROM basedosdados-staging.br_cvm_administradores_carteira_staging.responsavel AS t \ No newline at end of file +FROM basedosdados-staging.br_cvm_administradores_carteira_staging.responsavel AS t diff --git a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql index 5d8fcfd7..7207df9d 100644 --- a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql +++ b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql @@ -12,12 +12,11 @@ post_hook=['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter ON {{this}} GRANT TO ("allUsers") - FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_abertura_processo), MONTH) > 6)', + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) > 6)', 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING (EXTRACT(YEAR from data_abertura_processo) = EXTRACT(YEAR from DATE("{{ run_started_at.strftime("%Y-%m-%d") }}")))' ] - ) + FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] }} SELECT @@ -66,3 +65,10 @@ SAFE_CAST(tipo_fundo_investimento AS STRING) tipo_fundo_investimento, SAFE_CAST(ultimo_comunicado AS STRING) ultimo_comunicado, SAFE_CAST(data_comunicado AS DATE) data_comunicado FROM basedosdados-staging.br_cvm_oferta_publica_distribuicao_staging.dia AS t +{% if is_incremental() %} + + -- this filter will only be applied on an incremental run + -- (uses > to include records whose timestamp occurred since the last run of this model) + where data_registro > (select max(data_registro) from {{ this }}) + +{% endif %} \ No newline at end of file From 1d9ec169e4a1c7fae7f3625d3e860bc5f8af9158 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Wed, 20 Sep 2023 16:14:29 -0300 Subject: [PATCH 3/5] =?UTF-8?q?Faz=20altera=C3=A7=C3=B5es=20solicitadas?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../br_cvm_administradores_carteira__pessoa_fisica.sql | 6 ++++-- .../br_cvm_administradores_carteira__pessoa_juridica.sql | 6 ++++-- .../br_cvm_oferta_publica_distribuicao__dia.sql | 6 ++++-- 3 files changed, 12 insertions(+), 6 deletions(-) diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql index 88e2b59d..155511b5 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql @@ -19,7 +19,7 @@ FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] ) }} -SELECT +WITH tabela as( SELECT SAFE_CAST(nome AS STRING) nome, SAFE_CAST(data_registro AS DATE) data_registro, SAFE_CAST(data_cancelamento AS DATE) data_cancelamento, @@ -27,7 +27,9 @@ SAFE_CAST(motivo_cancelamento AS STRING) motivo_cancelamento, SAFE_CAST(situacao AS STRING) situacao, SAFE_CAST(data_inicio_situacao AS DATE) data_inicio_situacao, SAFE_CAST(categoria_registro AS STRING) categoria_registro -FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_fisica AS t +FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_fisica AS t) +select * +from tabela {% if is_incremental() %} -- this filter will only be applied on an incremental run diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql index af09a6ca..c5438593 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql @@ -20,7 +20,7 @@ ) }} -SELECT +WITH tabela as(SELECT SAFE_CAST(cnpj AS STRING) cnpj, SAFE_CAST(denominacao_social AS STRING) denominacao_social, SAFE_CAST(denominacao_comercial AS STRING) denominacao_comercial, @@ -45,7 +45,9 @@ SAFE_CAST(valor_patrimonial_liquido AS STRING) valor_patrimonial_liquido, SAFE_CAST(data_patrimonio_liquido AS DATE) data_patrimonio_liquido, SAFE_CAST(email AS STRING) email, SAFE_CAST(website AS STRING) website -FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_juridica AS t +FROM basedosdados-staging.br_cvm_administradores_carteira_staging.pessoa_juridica AS t) +select * +from tabela {% if is_incremental() %} -- this filter will only be applied on an incremental run diff --git a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql index 7207df9d..4e85dc12 100644 --- a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql +++ b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql @@ -19,7 +19,7 @@ FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] }} -SELECT +WITH tabela as(SELECT SAFE_CAST(numero_processo AS STRING) numero_processo, SAFE_CAST(numero_registro_oferta AS STRING) numero_registro_oferta, SAFE_CAST(tipo_oferta AS STRING) tipo_oferta, @@ -64,7 +64,9 @@ SAFE_CAST(tipo_societario_emissor AS STRING) tipo_societario_emissor, SAFE_CAST(tipo_fundo_investimento AS STRING) tipo_fundo_investimento, SAFE_CAST(ultimo_comunicado AS STRING) ultimo_comunicado, SAFE_CAST(data_comunicado AS DATE) data_comunicado -FROM basedosdados-staging.br_cvm_oferta_publica_distribuicao_staging.dia AS t +FROM basedosdados-staging.br_cvm_oferta_publica_distribuicao_staging.dia AS t) +SELECT * +FROM tabela {% if is_incremental() %} -- this filter will only be applied on an incremental run From 8db351cc3ec4a455d99bc89eedc8b54da4883547 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Wed, 20 Sep 2023 16:20:10 -0300 Subject: [PATCH 4/5] =?UTF-8?q?Corrige=20nome=20da=20vari=C3=A1vel=20de=20?= =?UTF-8?q?data=20na=20tabela=20dia?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../br_cvm_oferta_publica_distribuicao__dia.sql | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql index 4e85dc12..af956724 100644 --- a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql +++ b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql @@ -71,6 +71,6 @@ FROM tabela -- this filter will only be applied on an incremental run -- (uses > to include records whose timestamp occurred since the last run of this model) - where data_registro > (select max(data_registro) from {{ this }}) + where data_abertura_processo > (select max(data_abertura_processo) from {{ this }}) {% endif %} \ No newline at end of file From ce1892630a2618ef2b0b401210b6f8395fffffa6 Mon Sep 17 00:00:00 2001 From: folhesgabriel Date: Wed, 20 Sep 2023 16:36:32 -0300 Subject: [PATCH 5/5] Insere modelos testados em dev --- .../br_cvm_administradores_carteira__pessoa_fisica.sql | 2 +- .../br_cvm_administradores_carteira__pessoa_juridica.sql | 2 +- .../br_cvm_oferta_publica_distribuicao__dia.sql | 5 +++-- 3 files changed, 5 insertions(+), 4 deletions(-) diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql index 155511b5..77616332 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_fisica.sql @@ -16,7 +16,7 @@ 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) <= 6)'] ) }} WITH tabela as( SELECT diff --git a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql index c5438593..1758f79b 100644 --- a/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql +++ b/models/br_cvm_administradores_carteira/br_cvm_administradores_carteira__pessoa_juridica.sql @@ -16,7 +16,7 @@ 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)' ] + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) <= 6)' ] ) }} diff --git a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql index af956724..90fedc02 100644 --- a/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql +++ b/models/br_cvm_oferta_publica_distribuicao/br_cvm_oferta_publica_distribuicao__dia.sql @@ -12,11 +12,12 @@ post_hook=['CREATE OR REPLACE ROW ACCESS POLICY allusers_filter ON {{this}} GRANT TO ("allUsers") - FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) > 6)', + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_abertura_processo), MONTH) > 6)', 'CREATE OR REPLACE ROW ACCESS POLICY bdpro_filter ON {{this}} GRANT TO ("group:bd-pro@basedosdados.org", "group:sudo@basedosdados.org") - FILTER USING DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_registro), MONTH) =< 6)'] + FILTER USING (DATE_DIFF(DATE("{{ run_started_at.strftime("%Y-%m-%d") }}"),DATE(data_abertura_processo), MONTH) <= 6)'] + ) }} WITH tabela as(SELECT