Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[dados] mundo_vdem_dataset #483

Open
1 of 10 tasks
vitorgtomaz opened this issue Mar 5, 2024 · 1 comment
Open
1 of 10 tasks

[dados] mundo_vdem_dataset #483

vitorgtomaz opened this issue Mar 5, 2024 · 1 comment

Comments

@vitorgtomaz
Copy link

vitorgtomaz commented Mar 5, 2024


name: 'Issue: Novos dados'
about: Novos dados para serem adicionados à BD
title: "[dados] mundo_vdem"
labels: ''
assignees: ''Vitor Tomaz"

-Metadados da base

  1. Descrição: O V-Dem (Varieties of Democracy) é uma das principais pesquisas globais que tenta medir democratização. Com uma abordagem multidimensional que inclui mais de 600 indicadores para todos os países do mundo e dados desde 1789, o V-Dem permite analisar a evolução das democracias a partir de diversas definiçòes (chamadas princípios), como a Eleitoral, a Liberal, a Majoritária, a Consensual, a Deliberatória e a Participativa. Diiversos outros projetos utilizam os índices do V-Dem, como o Global State of Democracy e o Digital Society Survey. O V-Dem utiliza uma abordagem estatística para agregar as respostas de mais de 4000 experts nacionais para seu questionário.
  1. Qual o nome do conjunto? mundo_vdem_dataset

  2. Qual o nome da(s) tabela(s)? dataset

  3. Fonte original dos dados

    • Endereço: [<url>](https://v-dem.net/data/the-v-dem-dataset/country-year-v-dem-fullothers-v13/)
    • Tem API? não
    • É grátis? sim
    • Cobertura espacial: <area.slug>
    • Cobertura temporal: de 1789-01-01 a 2022-12-31
    • Frequência de atualização: <year>
    • Nível de Observação (o que representa cada linha da tabela):
      • vdem-pais-ano
  4. Raspagem

    • Nível de dificuldade: médio
    • Existe código semi-pronto? não
    • Dificuldades de big data (alta frequência, alto volume)? não

Tarefas (seguindo os passos da documentação aqui)

  • Baixar a pasta template e os dados originais
  • Preencher as tabelas de arquitetura
  • Revisar as tabelas de arquitetura pós correção da equipe
  • Escrever código de captura e limpeza de dados
  • Organizar arquivos brutos, se necessário
  • Organizar arquivos auxiliares, se necessário
  • Criar tabela dicionário, se necessário
  • Subir tabelas no BigQuery
  • Fazer a query para publicação dos dados
  • Abrir o PR com as labels de table-approvee sync-dbt_schema
@laura-l-amaral
Copy link
Contributor

  • Renomear o conjunto world_vdem_vdem
  • Criar o dicionário usando como referência o dicionário da RAIS
  • Ajustar a tabela de arquitetura
    - directory_column
    - measurment_unit
    - bigquery_type

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

2 participants