Koraki za organizacijo podatkov

Zadnja sprememba: 10 junija, 2025

Vzpostavitev logične strukture map in datotek

• Mape organiziramo v hierarhično strukturo, ki odraža odnose med datotekami. Na primer, projektne mape lahko vsebujejo podmape, ki odražajo zasnovo projekta in delovne postopke.
• Za mape in datoteke uporabljamo opisna in edinstvena imena, kar poenostavlja njihovo iskanje in pregledovanje map in datotek znotraj projekta. Doslednost v poimenovanju znotraj raziskovalne skupine pa olajša skupno raziskovalno delo.
• Podatke v mape organiziramo glede na fazo raziskave ali vrsto podatkov, da bodo vsi člani in članice raziskovalne skupine lahko hitro našli potrebne informacije. Osnovna struktura map lahko vključuje npr.:
  • Surove podatke: izvirne podatke, ki niso bili obdelani.
  • Obdelane podatke: podatke po pregledu in pripravi.
  • Dokumentacijo: zapiske o postopkih, protokoli, dnevniki.
  • Končne analize: rezultati analiz, pripravljeni za objavo.
• Za dodatno organizacijo lahko mape ločimo še po raziskovalnih vprašanjih, časovnih obdobjih ali metodah.

Sistem za dosledno poimenovanje datotek in map

• Standardizirano poimenovanje je ključnega pomena za zagotavljanje jasnosti in doslednosti. Dva pogosto uporabljena pristopa dogovora o poimenovanju (angl. naming convention) sta t .i. nezačetnica (angl. lower camelCase) in t. i. podčrtajni zapis (angl. snake_case). Pri camelCase se prva beseda začne z malo začetnico, vsaka naslednja pa z veliko začetnico, kar omogoča vizualno razlikovanje in lažje branje, na primer: kajJePodatkovnaObjava. Vendar je lahko pri daljših imenih ali pri uporabi v okoljih, ki ne upoštevajo velikih in malih črk, težko berljivo. Po drugi strani pa snake_case ločuje besede s podčrtaji, zaradi česar je bolj berljiv in ga je lažje vnesti, zlasti v sistemih, ki so občutljivi na velike črke ali ne podpirajo presledkov. Čeprav imata obe konvenciji svoje prednosti, je ključna doslednost; ne glede na to, kateri slog izberemo, poskrbimo, da se bo enotno uporabljal v vseh mapah in datotekah, da se izboljša dostopnost, berljivost in preglednost strukture projekta.
• Primer ustreznih imen map:
  • mojiDokumenti
  • moji_dokumenti
  • moji_dokumenti_20240101
• V izogib težavam pri strojnem procesiranju imena datotek in map ne začnimo ali končajmo s presledkom, piko, pomišljajem ali podčrtajem.
• Izogibajmo se presledkom in posebnim znakom (#, <, $, +, %, >, !, ^, &, *, ‘, |, {, ?, “, =, }, /, :, \, @).
• Imena datotek naj bodo razumno dolga. Upoštevajmo absolutno dolžino poti, ki se nanaša na skupno število znakov v celotni poti do mape in datoteke. Številni operacijski sistemi to dolžino omejujejo, običajno na 255 znakov (črka pogona + pot do mape + ime datoteke + končnica datoteke), da bi preprečili napake ali težave pri ravnanju z datotekami.
• Upoštevajmo, da so operacijski sistemi občutljivi na velike in male črke.
• Poimenovanje datotek in map naj sledi doslednim pravilom, ki omogočajo hitro prepoznavanje vsebine.
• Priporočeno je, da poimenovanje vključuje informacije, kot so:
  • Datum (npr. v obliki YYYYMMDD),
  • Opis vrste podatkov (npr. surovi, analizirani, povzetek),
  • Kratek opis eksperimenta ali raziskave (npr. test_A, meritev_temp),
  • Verzije datotek (npr. v1, v2 ali 20240101, 20240116 za različice datotek).
• Primer poimenovanja datotek: 20231112_surovi_podatki_test_A_v1.csv.

Uporaba enoličnih identifikatorjev

• Da omogočimo sledenje in povezovanje podatkov med analizami, vsakemu ključnemu elementu (npr. posameznikom, vzorcem, časovnim točkam) dodelimo enoličen identifikator (angl. unique identifier, UID). To olajša povezovanje in analizo podatkov.

• Identifikatorji naj bodo dosledno uporabljeni v vseh datotekah (posebej v datotekah z merilnimi podatki), tako da bo vsaka enota podatkov sledljiva skozi celoten raziskovalni proces. Še posebej smo pozorni, kadar delamo v večji raziskovalni skupini, mednarodnem okolju ali pri raziskovanju v različnih časovnih točkah oziroma longitudinalnih raziskavah, ko je tveganje za napake večje.

Dokumentacija in metapodatki

• Vsaka datoteka ali nabor podatkov naj vključuje osnovne metapodatke: informacije, kot so vrsta podatkov, avtorji, orodja in programska oprema, uporabljena pri ustvarjanju podatkov, ter merske enote in posebne opombe.
• Redno beležimo vse ključne korake raziskovalnega postopka, vključno s protokoli, merilnimi metodami, dnevniki o izvedbi eksperimentov, spremembami ali odstopanji od načrta. To olajša ponovljivost in zagotavlja celovit pregled nad podatki (glej stran ZBIRANJE oz. USTVARJANJE PODATKOV).
• Pri pripravi metapodatkov sledimo shemam metapodatkov, ki jih predpisuje repozitorij, v katerem nameravamo objaviti raziskovalne podatke. Iskanje ustreznih raziskovalnih podatkov ne zahteva le, da so podatki preprosto opremljeni z metapodatki, temveč tudi, da so metapodatki dovolj kakovostni, da je mogoče ustrezne nize podatkov odkriti in ponovno uporabiti. Seznam metapodatkovnih standardov, ki se uporabljajo za raziskovalne podatke, je dostopen na spletni strani Research Data Alliance. Seznam smernic za poročanje o poskusih in seznam minimalnih informacij o poskusu je dostopen na spletni strani FAIRsharing.org, informacije o izbiri terminologij in ontologij in ustvarjanju profila metapodatkov pa na spletni strani FAIR Cookbook.

Različice datotek in varnostne kopije

• Priporočljivo je ustvarjanje datiranih varnostnih kopij datotek, vodenje podrobnih dnevnikov sprememb in uporaba poimenovanj datotek za označevanje različic.
• Vsako pomembno spremembo datoteke shranimo kot novo različico (npr. v1, v2 ali 20240101, 20240116), da lahko enostavno sledimo zgodovini datoteke in se po potrebi vrnemo k starejši različici. Priporočljivo je ustvarjanje dokumenta, ki vsebuje tabelo s seznamom verzij in kratkim opisom sprememb. Za pomoč pri sledenju različicam datotek si lahko pomagamo z orodji, kot je Git.
• Varnostne kopije redno ustvarjamo in jih shranjujemo na varni lokaciji (npr. repozitorij ali oblačna shramba), da se zmanjšajo tveganje izgube podatkov zaradi tehničnih težav ali človeških napak (glej stran OHRANJANJE PODATKOV).

Ustvarjanje in vzdrževanje doslednosti

• Z dogovorom z vsemi člani in članicami raziskovalne skupine zagotovimo, da se vsa zgoraj našteta pravila dosledno uporabljajo skozi celotno raziskavo.
• Redno pregledujemo strukturo in dokumentacijo podatkov, zlasti če raziskava traja dlje časa ali vključuje različne faze, ki zahtevajo dodajanje novih podatkov.
• Priporočljivo je, da raziskovalna skupina imenuje podatkovnega menedžerja, torej nekoga, ki nadzira izvajanje dogovorjenega.
• Spletna stran RDMkit ima več informacij in nasvetov o organiziranju podatkov v večjih konzorcijih (Project data management coordination). Učbenik CESSDA DMEG pa vsebuje nasvete in priporočila ter primere dobre prakse za organizacijo in dokumentiranje v družboslovnih raziskavah (2. Organize & Document).