Skip to content

Problemas comuns no processo

Patrick Teixeira edited this page Oct 19, 2023 · 4 revisions

O Flow não foi registrado no prefect:

Ações a tomar:

  • Garantir que a branch se inicia com o prefixo staging/. Exemplo: staging/br_bcb_agencia
  • Verificar se o PR tem conflitos - consertar conflitos
  • Verificar se a pipeline está listada no arquivo pipelines/datasets/__init__.py - incluir no arquivo
  • Tentar fazer um novo commit com comentário nas tasks ao invés dos flows
  • Tentar fazer um novo commit renomeando o flow
  • Tentar mudanças em algum comentário do arquivo e não na diagramação do arquivo (pular linhas ou excluir linhas vazias).
  • Caso o seu PR mexa em uma util que afete muitos flows, faça uma branch separada só para conserto dessa util, mergeie na master e continue o processo de desenvolvimento. Ter que registrar muitos flows atrapalha o processo de desenvolvimento.

O Schedules não foi registrado no prefect:

Ações a tomar:

  • Revisar os parâmetros que estão como required no seu flow e não estão no schedules

O run_dbt_model falhou:

  • Primeiro, leia o log do prefect com muita atenção, muitas vezes ali tá bem indicado o que aconteceu
  • Se a mensagem recebida for: Exception: There are no results here. This probably indicates that the task failed. o mais provável é que o dbt não encontrou o seu modelo isso pode acontecer por que:
    • o seu conjunto não está listado no arquivo dbt_projects.yaml
    • o nome do table_id.sql está diferente do schema.yaml

Pipeline rodando dentro de outros flows.

  • Não pode haver código python dentro de nenhum flow. Isso ocasiona que o bloco de código python seja reproduzido em todos os outros flows de maneira automática.