Mõelge, mis kasu võib igapäevaste tööülesannete täitmisel olla sellest, kui teil on pidevalt silme ees andmedomeenide, tingimuste, tulemuslikkuse võtmemõõdikute ehk KPI-de, KPI-de valemite ja muude mõõdikute ning tehniliste- ja äriandmete loend. 

Kellele on andmekataloog kasulik?  

Vaatame üle, kes võiksid ettevõttes olla huvitatud erinevatest andmetest. Tihti ei öelda kõiki huvist tulevaid vihjeid, mida on muutusteks vaja, otse välja. Ometi võiks sellele alati läheneda ad-hoc viisil ehk rääkida sellest, kuvada seda tahvlil, panna kirja paberile või asuda kas koos kollektiiviga või üksi pöördprojekteerima. 

Andmekataloogist on kasu:

Chief Data Officeril

Makserakenduste ja riskihalduse spetsialistil (Risk, Fraud & Payment Management Officer)

Vastavusvaldkonna juhil (Compliance Officer) 

Infoturbe juhil (Chief Information Security Officer)

Finantskontroller (Financial Controller)

Tootejuhil (Product Manager)

Äriandmete analüütikul (Data (Business) Analyst)

Tehnilisel analüütikul, tooteomanikul (Technical Analyst(Technical / BI) Product Owner)

Tehnilise meeskonna juhil (Team/Technical Lead)

Backend arendajal

Kvaliteediinseneril (QA Engineer)

Äriteabeinseneril (BI Engineer)

Andmeinseneril (Data Engineer)

Andmeteadlasel (Data Scientist)

Andmearhitektil (Data Architect)

Lahenduse peaarhitekil (Solution / Lead Architect)

Intsidendijuhil  (Subject Incident Manager)

DevOps inseneril

Nimekiri on päris muljetavaldav, eksole! Enamik nendest ametikohtadest on suures osas ettevõtetest, valitsuses ning era- ja riigisektoris olemas. Isegi start-upides on vähemalt pooled nendest ametikohtadest. Start-upide osas võib küll tekkida vaidlusmoment, kuid kui sellele pisut mõelda, siis saab mitmeid rolle omavahel liita ehk  tööülesandeid saab täita üks inimene. 

Märgid, mis näitavad, et minu ettevõttes on andmekataloogi vaja

Nüüd on just õige hetk mõelda sellele, mis võivad ettevõtetes olla andmekataloogi vajalikkusele viitavad märgid. Toome välja mõned näited juhtumitest. Need on tekkinud erinevatel kohtumistel, lõunapausi ajal peetud vestlustel, Slacki kanalites, arendajatega suheldes või kasvõi kolleegidega niisama tööpäeva jooksul lobisedes. 

– Millist valemit kasutatakse mõõdiku X / KPI Y arvutamiseks?

– Mis on vastava Kafka-topicu tarbijad? 

– Kui jagada kliendi andmelao dimensioonide tabeli nimi ja perekonnanimi kaheks veeruks, millised võiksid olla refaktoreerimise sõltuvused?

– Millist andmeallikat kasutatakse tüüpilise Power BI tabeli või mingi muu tööriista aruannete koostamisel?

– Millised on andmelao faktide ja dimensioonide tabelite veerud, mida kasutatakse aruandes X turundusmeeskonna jaoks?

– Kuidas pääseb andmeteaduse tiim juurde kliendi tegevusandmetele, et arvutada müügimeeskonna küsitud kliendi katkestamise määr?

– Miks on müügimeeskonna aruandes igal kuul nii palju vigu?

– Mis on äriväärtus, mida raport XYZ pakub? Loodetavasti on see sobilik, kui raportile ei pääse näiteks neljapäeval kolme tunni jooksul ligi? 

Ja nii edasi…Nimekirja võiks täiendada erinevate taoliste küsimustega, kuid peamine eesmärk on siin näidata, et iga kord on küsimused konkreetsed ega ole üksteisega seotud. Kõigil neil küsimustel on aga ühine joon – iga juhtumi eesmärk on saada küsitavate andmete kohta teadmisi, et avastada vastav pilt, mis aitab panna paika konteksti ja edasi minna.

Miks andmekataloog mind aitab?

Vaatame lähemalt, kuidas sellises olukorras andmekataloog meid aitab.

Ettevõtete andmete metaandmete register

Andmekataloog kogub erinevatest allikatest pärit andmete kohta metaandmeid ja esitab need ettevõtte kasutajale kõigi ettevõttes olemasolevate andmevarade registrina.

Nii muutuvad ettevõtte kasutajale vaatlemiseks kättesaadavaks kõik mikroteenuste salvestuste, andmelao, Data Lake’i, BI aruannete, Exceli failide, Message Broker’i järjekordade ja teemade (topic) andmeskeemid.

Iga avastatud andmeskeemi saab andmekataloogi tasemel seletada lahti ka inimkeeli. See lisab esitatud skeemile ärilise tähenduse. Nii ei peagi küsima, mis andmeid/infot ettevõttel teenuseX andmebaasis või andmelaos on.

Tehniliste andmete põlvnemine

See funktsioon tuvastab ja esitleb, kuidas andmed omavahel seotud on. Integreeritud allika tehnilisest põlvnemisest saadaolevate metaandmete kasutamine võib olla esitatud kas tabeli või veeruna.

Kui ettevõttes on kasutusel sõnumite vahendaja, nagu näiteks Kafka, siis võib tekkida vajadus kasutada vahetööriista, mis aitab hankida teemade (topic) kohta metaandmeid ja alles seejärel integreerida need andmekataloogi.

Selline funktsioon aitab palju andmete pöördprojekteerimisel, kasutades selleks ainult ühte kohta. See on sageli koostatud horisontaalse või vertikaalse diagrammina, mida saab teisendusreegleid arvesse võttes lisada üksustele või andmeatribuutidele klõpsates, et uurida, kuidas andmed lähteallikast sihtkohta liiguvad. 

Sisemine metamudel

Väga sageli on andmekataloogid varustatud sisemise metamudeliga. See pakub tingimusi ja nendevahelisi seoseid, nii et ettevõtte ökosüsteemist imporditud metaandmeid saab nende terminite alusel kategoriseerida. Need terminid võivad olla andmevaldkond (või valdkond), ärisõnavara, KPI, mõõdik, äriprotsess (Business Process), andmeüksus (Data Entity), andmeatribuut, aruanne , Dashboard, andmebaas, tabel, veerg , sündmus.

Sisemine metamudel on ettevõttele võimsaks abiks andmekataloogi rakendamisel. Samuti aitab see ettevõtte äriüksuse töötajatel oluliselt paremini andmetest aru saada, ilma et peaks andmebaaside ja veergude osas tehnilisele tasemele laskuma.

Tehke andmete kallal koostööd just seal!

Kataloogide üks suuri boonuseid on see, et nende sees on võimalik esitada küsimusi ja lisada andmetele kommentaare. See võib ettevõttesiseselt anda inimestele võimaluse selgitada ja saada paremini aru keerulistest andmetest. Lõppkokkuvõttes seisneb kõik andmete ja õigete vastuste jagamises.

Kõik arutelud on ühes kohas ja nende üle ei arutleta kohvinurgas või Slacki kanalites ning seeläbi suureneb teadlikkus ja kindlustunne ettevõtte andmete osas.

Kuidas andmekataloog enda kasuks tööle panna? 

Tooteomanikele (Product Owners), Scrum masterile ja tarneinsenerile pakub andmekataloog suurepärast väärtust, kui see integreeritakse ülesannete haldussüsteemi (Engineering Task Management System) kui andmepakkuja. Andmevaldkondade, aruanneteja Dashboard’ide loend on ettevõtte varad, mida saab kasutada backlogis olevate ülesannete kategoriseerimiseks ja prioriteetide seadmisel. 

Andmekataloogi juhend

Kui te soovite teemast rohkem teada, võtke meiega ühendust ja laadige alla andmekataloogi juhend (Inglise keeles).