Resultados divergentes entre Jupyter x COLAB

[jgmsantos]

Olá, pessoal. Parabéns pelo excelente trabalho.

Estou com um problema. Estou usando a base SINAN para ver dengue. Meu objetvo é plotar uma série temporal (mensal e semana epidemiologica).

No Google Colab o total de linhas lido é de:

2863936 rows × 121 columns

Isso é o total do arquivo original, sem fazer nada, apenas leitura/visualização para o ano de 2024.

Agora, fiz um Jupyter Notebook e ele lê apenas:

240000 rows × 121 columns

É o mesmo script com resultados diferentes. Alguém poderia dar uma ajuda?

Uso o pysus: 0.11.0

At.te,

Guilherme Martins.

[turicas]

@jgmsantos você poderia compartilhar os códigos de ambos os testes que fez? Com isso poderemos tentar reproduzir o problema.

[jgmsantos]

Seeguem os códigos:

final.ipynb -> Jupiter Notebook -> este aqui está gerando 240000 linhas
Link: https://drive.google.com/file/d/1js_ruJ526keL39B5Xx3IcR_nIaUDv9Px/view?usp=sharing

DATASUS_com_Python -> Google Colab -> este aqui está gerando 1880479 linhas
Link: https://colab.research.google.com/drive/1ACijiuAaMsldgEFxOJI1P2O-77blvY-8?usp=sharing

[turicas]

@jgmsantos você enviou dois links iguais (e nele o DF tem 1880479 registros).

[jgmsantos]

Eu atualizei o link final.ipynb.

[turicas]

@jgmsantos quais as versões do pysus e pandas você está rodando no seu jupyter notebook? Sugiro atualizar para a última versão, rodando !pip install -U pysus

[turicas]

No Colab você está usando a versão 0.13.1 do pysus. Sugiro testar a mesma localmente (pip install 'pysus==0.13.1').

[jgmsantos]

Eu apaguei o ambiente virtual e instalei uma nova usando o Python 3.11.8 e instalei a versão que você falou (pip install 'pysus==0.13.1'). O pandas instalado é a versão 2.2.2. Executei novamente o Jupyter Notebook e deu o mesmo resultado, isto é, lê apenas 240000 linhas.

[turicas]

Acabei de executar as primeiras células do final.ipynb (pandas-2.2.2 e pysus-0.13.1) e o resultado foi 2863936, como esperado. Porém o Jupyter estava ocupando quase 6GB de RAM quando terminou de executar a célula que cria o DataFrame. Pode ser que o problema seja esse (seu notebook não ter memória disponível).
Se não for isso, não sei o que pode ser. @luabida consegue ajudar aqui?

[jgmsantos]

Deve ser isso pelo visto, memória. Estou fazendo pelo Colab e salvo em csv e estou seguindo a vida. Tenho 16Gb de RAM.

Pelo Colab vai de boa, sem problemas.

[turicas]

Mas acho que nesse caso o ideal seria a biblioteca lançar uma exceção de falta de memória, em vez de carregar apenas parte do arquivo sem sinalizar que houve um erro.
Que acha, @fccoelho ?

[fccoelho]

Em versões mais recentes do PySUS, quando vc executa o download() ele salva os dados como arquivo parquet no cache_path. Isto é feito para evitar problemas de memória. Quando você executa o método to_dataframe() é que ele lê para a memória.

Uma estratégia seria, logo em seguida ao download, fazer o read_parquet apenas com as colunas que vc vai precisar. por exemplo:

pth = SINAN.download(Agravo, Ano)
pd.read_parquet(pth, columns=['DT_SIN_PRI', 'CLASSI_FIN', 'SG_UF_NOT'])

Assim você reduz significativamente o uso de memória.

Aqui tem mais exemplos:
https://colab.research.google.com/drive/1u_HuoRO4iwdDVTuFey7XPDTN8AE0OwO1?usp=sharing

[jgmsantos]

Eu tentei fazer o que @fccoelho falou, estou usando o COLAB e retorna o erro:

TypeError: cannot construct a FileSource from /root/pysus/DENGBR24.parquet

requisicao = SINAN.download(diseases='DENG', years=ano)
pd.read_parquet(requisicao, columns=['DT_SIN_PRI', 'CLASSI_FIN', 'SG_UF_NOT'])

[jgmsantos]

E pelo COLAB tentei carregar o:

from pysus.utilities.readdbc import read_dbc

e retorna erro:

ModuleNotFoundError: No module named 'pysus.utilities.readdbc'

Eu tenho os arquivo dbc localmente.

[luabida]

Oi @jgmsantos, acabei de rodar seu jupyter notebook localmente e o resultado deu 3182084 rows, poderias deletar o diretório $HOME/pysus/DENGBR24.parquet e tentar novamente, por favor?

[jgmsantos]

Vou testar.

[jgmsantos]

Isso aqui resolveu para mim.

requisicao = SINAN.download(diseases='DENG', years=2024)
dengue = pd.read_parquet('/home/gui/pysus/DENGBR24.parquet')
dengue.to_csv('dengue_2024.csv')

Resultado:

3182084 rows × 121 columns

Igual ao seu.

Salvei no csv, aí posso fazer as minhas coisas. Acho que com isso, a gente finaliza a dúvida.

[fccoelho]

Normalmente o SO derruba o processo (kernel do jupyter) quando ele consome toda a memória.
Por isso acho que o problema do @jgmsantos não deve ser apenas de memória. (ja derrubei o Jupyter inúmeras vezes por esta razão :-) )

@turicas durante o Download, os dados nunca ficam integralmente em memória.
Funciona mais ou menos assim:

1. Dados em formato DBC são baixados via FTP direto pro disco
2. Conversão de DBC para DBF é feita byte a byte por uma extensão C criando um arquivo DBF
3. DBF é lido pelo processo Python em "chunks" de 30000 linhas (se não me falha a memória) e escritos diretamente no arquivo parquet.

Em nenhum dos três passos acima todo o dado é carregado na memória. O arquivo pode ter 1TB que vai consumir a mesma quantidade máxima de memória: o equivalente a 30000 linhas dos dados.

Para dar esta exceção de memória que vc sugere @turicas, teríamos que estimar a quantidade de memória utilizada pelos dados uma vez carregados, o que vai depender de vários fatores. Se o Pandas não faz isso, é porque não deve ser trivial estimar isso. Claro que para arquivos acima de um certo tamanho é meio óbvio que vai estourar a memória.
Este artigo fala sobre isso: https://pythonspeed.com/articles/estimating-pandas-memory/