Pysus e TabNet - Divergência nos resultados

[vilarealjoao]

Prezados(as), boa noite. Desenvolvo atualmente como tema de pesquisa para o TCC a análise do perfil das vítimas de homicídio na cidade de Juiz de Fora. Utilizei a biblioteca do Pysus para agilizar o processo da coleta de dados socioeconômicos (escolaridade, cor etc) em contraposição ao sistema do TabNet.

Os homicídios são comumente identificados através do CID-10 a partir das categorias X85 a Y09 para agressões e Y35 a Y36 para intervenções legais. Fiz esse código aqui para filtrar meu dataframe com base nessas categorias:

Recortando os valores de homicídios para os anos de 2015 a 2021, encontro os seguintes valores:

Notei, entretanto, uma divergência no resultado quando faço essa mesma busca pelo TabNet para a cidade de Juiz de Fora:

Admito não saber ao certo o porquê dessa diferença estar ocorrendo, até porque, pelo o que pude entender, o Pysus e o TabNet se utilizam da mesma fonte de informações (Sistema de Informações de Mortalidade) para esses registros.

Por ainda ser um novato nesse universo, deixo aqui essa discussão em aberto para maiores esclarecimentos.

Agradeço a atenção dispensada.

Obrigado,
João.

[fccoelho]

Olá João,

De fato,vemos em sua agregação, uma discrepância pequena, porém consistente no sentido de que em todos os anos observamos uns poucos óbitos extras no resultados do TABNET. Sugiro que verifique se os filtros que você estabeleceu no seu código Python contém todos os CIDs, que você utilizou no TABNET. Melhor ainda ao invés de criar uma numeração sequencial para os CIDs, simplesmente copie e cole os CIDs que usou no tabnet e que aparecem na figura acima em uma lista explicita no seu código para ter certeza de que está filtrando pelos mesmos códigos.

Por fim, atenção que às vezes encontramos variações de como o CID é registrado. por exemplo no caso da dengue, cujo CID10 é A90, às vezes aparece nos bancos do datasus como A-90, A090, A900, e outras variações criativas. Uma solução para criar filtros mais robustos é usar expressões regulares.