data-governance : DAG 02_create_iahx_xml_collection.py - Tratamento dos campos de DBinstanceEcollection com ‘dois-pontos’ está incorreto

[ChicoLopes]

Na coleção TABS.DBinstanceEcollection os nomes de 'collection_instance' que tem 'dois-pontos' (collection_sms; collection_ses; collection_conass; e etc.) devem usar o que está após o 'dois-pontos' como valor sendo o nome do campo a porção que precede o 'dois-pontos'.

Por exemplo: collection_sms:producao_cientifica será o campo ‘collection_sms’ contendo o valor ‘producao_cientifica’.

Hoje o que acontece é que para o exemplo dado acima, na coleção ‘FIs_enriched.03_xml_enriched_sms’:
campo denominado: ‘collection_sms:producao_cientifica’ aparece com o valor ‘SMS’

[diegoreach]

@ChicoLopes não seria melhor já deixar o campo preenchido apenas com o que vem depois do dois pontos no TABS.DBinstanceEcollection?
Minha preocupação é tratarmos esse caso e outros que possam surgir no código, quando a fonte poderia vir normalizada para uso, seria algo viavel?

[botturam]

Regra para uso da collection DBinstanceEcollection (mongoDB):

Exemplo de linha:

IALPROD|SESSP-IALPROD;SES-SP|conass;regional;lilacsplus;SES-SP;aps||collection_ses:producao_cientifica;collection_conass:CONASS;collection_conass:SES-SP

campo Database do FI-ADMIN linka com coluna 1 (IALPROD - exemplo acima). Criar campos (separador |):

1. coluna 2 (separador ;) é campo db (adicional ao v904=db)
   <field name="db">SESSP-IALPROD</field>
   <field name="db">SES-SP</field>

2. coluna 3 (separador ;) é o campo instance:
   <field name="instance">conass</field>
   <field name="instance">regional</field>
   <field name="instance">lilacsplus</field>
   <field name="instance">SES-SP</field>
   <field name="instance">aps</field>

3. coluna 4 - ignorar (no exemplo está vazia). Seria o campo "collection", mas foi descontinuado

4. coluna 5 nome_do_campo:conteudo_do_campo (separador ; )
   producao_cientifica
   CONASS
   SES-SP

Ao final, tirar repetições (pode ser que ao preencher o campo db com SES-SP, já tenha sido preenchido anteriormente quando foi preenchido com o "indexado em" )

[diegoreach]

Concluído no f38fe5f