Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[dados] climate_data #395

Open
10 tasks
laura-l-amaral opened this issue Jan 11, 2024 · 0 comments
Open
10 tasks

[dados] climate_data #395

laura-l-amaral opened this issue Jan 11, 2024 · 0 comments

Comments

@laura-l-amaral
Copy link
Contributor

Metadados da base

  1. Descrição: ERA5 hourly data on single levels from 1940 to present
  1. Qual o nome do conjunto? dataset_id

  2. Qual o nome da(s) tabela(s)? table_id

  3. Fonte original dos dados

    • Endereço: url
    • Tem API? <sim> / <não>
    • É grátis? <sim> / <não>
    • Cobertura espacial: <area.slug>
    • Cobertura temporal: de YYYY-MM-DD a YYYY-MM-DD
    • Frequência de atualização: <year> / <semester> / <quarter> / <month> / <day> / <hour> / <minute> / <second>
    • Nível de Observação (o que representa cada linha da tabela):
      • <tabela> - <entidade> - <coluna>
  4. Raspagem

    • Nível de dificuldade: <baixo> / <médio> / <alto>
    • Existe código semi-pronto? <sim> / <não>
    • Dificuldades de big data (alta frequência, alto volume)? <alta_frequencia>/ <alto_volume> / <não>

Tarefas (seguindo os passos da documentação aqui)

  • Baixar a pasta template e os dados originais
  • Preencher as tabelas de arquitetura
  • Revisar as tabelas de arquitetura pós correção da equipe
  • Escrever código de captura e limpeza de dados
  • Organizar arquivos brutos, se necessário
  • Organizar arquivos auxiliares, se necessário
  • Criar tabela dicionário, se necessário
  • Subir tabelas no BigQuery
  • Fazer a query para publicação dos dados
  • Abrir o PR com as labels de table-approvee sync-dbt_schema
@laura-l-amaral laura-l-amaral moved this to 🏗 Em andamento in Roadmap de dados Jan 12, 2024
@laura-l-amaral laura-l-amaral changed the title [dados] <dataset_id> [dados] climate_data Jan 12, 2024
@laura-l-amaral laura-l-amaral moved this from 🏗 Em andamento to 📋 Backlog in Roadmap de dados Jan 12, 2024
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

1 participant