Opnemen data dictionary in alle repo's

[Muhammet369]

Een data dictionary is de bron van waarheid voor alle datavelden binnen je project.
Lijkt me handig om bijv. een Excel bestand te maken met daarin de kolommen:

• Variabele naam
• Business naam
• Definitie
• Datatype
• Formaat
• Eenheid
• Voorbeeldwaarde
• Herkomst

Kunnen eventueel kolommen bij. Dit helpt een new joiner sneller gevoel te krijgen. Zo creeer je ook weinig ruimte voor eigen opvatting.

Bijv. repo studentprognose heb je de kolommen:

• ratio
• average_ratio
• prognose_ratio
• gewogen vooraanmelder
• ongewoven vooraanmelder
• aanmelder
• voorspelde vooraanmelder

Ja uiteindelijk kom je zelf wel achter wat het allemaal is. Maar zou enorm helpen alles op 1 centrale locatie staat

[Tomeriko96]

In principe mee eens, maar de vraag die ik heb is of het niet handiger is om deze bestanden te hosten op 1 repo (overzicht-landelijke-databronnen) en dat de README van specifieke project dan kan linken naar dat bestand.

Dat zou onderhoud m.i. kunnen versimpelen, vooral als wij projecten hebben die dezelfde data dictionary gebruiken.

[Muhammet369]

Ik denk dat overzicht-landelijke-databronnen goede startpunt is. Daar wordt alle input data goed uitgelegd.

Wat ik bedoel is echt meer repo specfieke data

• Verrijking van input data
• Maar ook welke formule is gebruikt voor tot standkoming vd kolommen
• Output data

Om die reden voorstander van plaatsen data dictionary on data/ folder van betreffende repo.
Zo kunnen we ook zien welke kolommen we allemaal gebruiken ikhv data minimalisatie

@aslamht @CorneeldH Wat denken jullie?

[CorneeldH]

Eens met @Muhammet369, elke repo moet een input en output data dictionary hebben.

Hoe groot en uitgebreid weet ik niet direct.

Op de VU hadden we bijv. omschrijving van 1 of 2 zinnen, de kolomnaam zelf moet natuurlijk ook duidelijk zijn en eventueel een verwijzing naar waar deze kolom wordt aangemaakt binnen de repo (als we function-based werken, dan kan dat misschien wel).

Hier staat dit bijv https://github.com/cedanl/1cho_ins_preparation_r/tree/main/metadata, al zijn het dan html's met direct wat info over de verdeling. Je wilt ook een csv/excel versie denk ik.

Ik zou vooral klein beginnen. Iets als 'business-naam' is bijv. niet altijd gemakkelijk of eenduidig en kan het juist verwarring opleveren, ook is het niet automatisch te genereren. Ik zou het in eerste instantie dus technisch / automatisch houden.

--

Bovenstaande is dus echt op kolom-niveau, het overzicht landelijke bronnen is meer op tabel-niveau.

[CorneeldH]

Dank voor de input iedereen!

Zie de nieuwe standaarden: https://github.com/cedanl/.github/tree/main/standards, met daarin iets over readme. Nieuwe ideeën en updates kunnen in de repo worden besproken via issues en pull requests.