O datadelivery é um módulo Terraform que permite com que seus usuários criem recursos de infraestrutura em suas respectivas contas AWS visando aprimorar os primeiros passos na exploração de dados utilizando serviços de Analytics. Isto é feito através de processos já embarcados no módulo, tais como:
- 🪣 Criação de buckets S3 seguindo uma arquitetura Data Mesh ou arquitetura medalhão
- 🎲 Upload automático de datasets públicos em bucket S3
- 📦 Upload opcional de datasets customizados fornecidos pelo usuário
- ⏳ Agendamento automático de um Glue Crawler para criação de tabelas para os datasets
- 🔒 Criação de policies e roles IAM para execução do Glue Crawler
- 📈 Criação de um workgroup do Athena para facilitar a execução de queries
Qualquer usuário que tenha um projeto Terraform pode realizar a chamada ao módulo datadelivery passando, como fonte, a referência deste repositório no GitHub:
# Chamando o módulo datadelivery com as configurações padrão
module "datadelivery" {
source = "git::https://github.com/ThiagoPanini/datadelivery"
}O módulo datadelivery possibilita algumas customizações específicas de seus recursos implantados através do fornecimento de algumas variáveis que podem ser configuradas em tempo de chamada.
Para acessar a lista completa de variáveis atualmente aceitas pelo módulo, consulta sua página oficial de documentação.
📚 Para saber mais sobre essa iniciativa, acesse a página oficial de documentação do módulo. Lá, os usuários poderão encontrar todos os detalhes de construção da solução, demonstração de etapas, visão de arquitetura, entre outros tópicos relevantes.
- GitHub: @ThiagoPanini
- LinkedIn: Thiago Panini
- Hashnode: panini-tech-lab
- DevTo: thiagopanini
Terraform
- Terraform - Creating Modules
- Terraform - Using Modules
- Terraform - Module Sources
- Medium - Maintaining Reusable Terraform Modules
- Terraform - Filesystem and Workspace Info
AWS Glue
GitHub