diff --git a/models/br_me_rais/br_me_rais__dicionario.sql b/models/br_me_rais/br_me_rais__dicionario.sql index 758968b3..99d08533 100644 --- a/models/br_me_rais/br_me_rais__dicionario.sql +++ b/models/br_me_rais/br_me_rais__dicionario.sql @@ -1,5 +1,4 @@ {{ config(alias="dicionario", schema="br_me_rais") }} - select safe_cast(id_tabela as string) id_tabela, safe_cast(nome_coluna as string) nome_coluna, diff --git a/models/br_me_rais/br_me_rais__microdados_estabelecimentos.sql b/models/br_me_rais/br_me_rais__microdados_estabelecimentos.sql index 6a48658a..09db0eee 100644 --- a/models/br_me_rais/br_me_rais__microdados_estabelecimentos.sql +++ b/models/br_me_rais/br_me_rais__microdados_estabelecimentos.sql @@ -2,7 +2,7 @@ config( alias="microdados_estabelecimentos", schema="br_me_rais", - materialized="table", + materialized="incremental", partition_by={ "field": "ano", "data_type": "int64", @@ -54,3 +54,7 @@ select safe_cast(regexp_replace(regioes_administrativas_df, r'^0+', '') as string) ) as regioes_administrativas_df from `basedosdados-staging.br_me_rais_staging.microdados_estabelecimentos` as t +{% if is_incremental() %} + where + safe_cast(ano as int64) > (select safe_cast(max(ano) as int64) from {{ this }}) +{% endif %} diff --git a/models/br_me_rais/br_me_rais__microdados_vinculos.sql b/models/br_me_rais/br_me_rais__microdados_vinculos.sql index b1b8c5fb..fc11a07c 100644 --- a/models/br_me_rais/br_me_rais__microdados_vinculos.sql +++ b/models/br_me_rais/br_me_rais__microdados_vinculos.sql @@ -2,7 +2,7 @@ config( alias="microdados_vinculos", schema="br_me_rais", - materialized="table", + materialized="incremental", partition_by={ "field": "ano", "data_type": "int64", @@ -102,3 +102,7 @@ select safe_cast(regexp_replace(regioes_administrativas_df, r'^0+', '') as string) ) as regioes_administrativas_df from `basedosdados-staging.br_me_rais_staging.microdados_vinculos` +{% if is_incremental() %} + where + safe_cast(ano as int64) > (select safe_cast(max(ano) as int64) from {{ this }}) +{% endif %}