fix coercion

basedosdados · Mar 26, 2024 · 389f060 · 389f060
1 parent 328b199
commit 389f060
Showing 1 changed file with 4 additions and 1 deletion.
diff --git a/models/br_inep_censo_escolar/code/main.py b/models/br_inep_censo_escolar/code/main.py
@@ -69,7 +69,10 @@
 
 for i in arch.loc[arch["bigquery_type"] == "STRING"]["name"]:
     if i in df.columns:
-        df[i] = df[i].astype("Int64").astype(str)
+        # NOTE: fillna("") porque a coerção astype("Int64").astype("String")
+        # cria <NA> e ao salvar o csv, <NA> não é salvo como um valor
+        # vazio i.e "", ele salva como <NA> e isso é intepretado como uma string no BQ
+        df[i] = df[i].astype("Int64").astype("string").fillna("")  # type: ignore
 
 for i in arch.loc[arch["bigquery_type"] == "INT64"]["name"]:
     if i in df.columns: