Data Platform: modernit ratkaisut

Tiedonhallinta liiketoiminnassa

Organisaation toiminnan keskiössä ovat liiketoimintaprosessit ja niihin liittyvät asiat, prosessi – sekä käsitemallinnus ovat sen vuoksi hyviä tapoja kuvata liiketoimintaa.

Tiedonhallinta on eräs organisaation mahdollistavista liiketoimintaprosesseista taikka sitten osana kaikkia liiketoimintaprosesseja, tavoitteena kuitenkin sen varmistaminen, että on olemassa resursseja johtaa sekä kehittää liiketoimintaa.

Joskus liiketoiminnassa ajatellaan asioita liikaa sovellusnäkökulmasta, että tietyn ajanhetken sovellukset suorittavat näitä liiketoimintaprosesseja, kun oikeasti kuitenkin organisaation prosessit ja data ovat näitä yksittäisiä sovelluksia pysyvämpiä lopputuloksia sen toiminnasta.

Muuttuvat vaatimukset toiminnalle

Muuttuvat integraatiotyylit

Uudet teknologiat, datamäärien kasvu sekä eräajoikkunan pienentyminen vaikuttavat tapoihin toteuttaa integraatioita. Perinteinen tapa kierrättää dataa integraatiopalvelimen kautta ei ole enää näissä olosuhteissa toimiva.

Reaaliaikaisuus, sanomapohjainen integraatio sekä replikointi ovat jatkuvasti yleistyneet 2020 – luvun kuluessa.

Modernit data-alustat

Moderni data platform eli data-alusta pystyy käsittelemään monenlaista dataa, se voi myös olla hybridi, jossa on Data Lake tai Lakehouse – analytiikan tyyppisiä osia yhdessä analyyttisen tietokantatuotteen kanssa. Moderni data-alusta voi vielä olla on-premises tai sitten todennäköisemmin kokoelma erilaisia pilvipalveluita. Jos data platform koostuu erilaisista Serverless sekä PaaS – osista, niin pilvipalveluiden tarjoajan vastuulle siirtyy paljon siitä teknisestä infrastruktuurista, joka on-premises mallissa on organisaatiolla itsellään.

Modernilla data-alustalla pitäisi olla kyky käsitellä saapuvaa dataa ilman että sitä ensin pitää siirtää alustan ulkopuolelle muokkausta ja latausta varten. Jos data-alusta ostetaan palveluna, niin alustan resurssit ovat helpommin skaalattavissa. Pilvipalveluiden suurin hyöty tulee joustavuudesta, rahaa kaikesta kehittämisestä sekä käytetyistä infrapalveluista joutuu joka tapauksessa maksamaan.

Kokeneen kehittäjätiimin palkkakustannukset ovat joka tapauksessa suurin kuluerä, jolloin on järkevää automatisoida sekä käyttää lähes valmiita komponentteja.

Data Mesh vai perinteinen monoliitti?

Moderni data platform voi myös olla hajautettu ja noudattaa läheisemmin Data Mesh – filosofiaa, jossa vastuu ja arkkitehtuuri on hajautettu enemmän ilmiöalueisiin kuin niin että kaikki kehitys on keskitetyn datafunktion vastuulla. Tämä on vielä ajatuksellisesti uutta ja edellyttää varsin vahvaa resursointia siinä että jokainen domain / ilmiöalue pystyy mieltämään oman datatuotteensa luonteen ja oikeasti vastaamaan palvelulupauksestaan datan käyttäjien suuntaan.

Perinteisesti liiketoimintaprosesseissa on ollut rajallisesti kyvykkyyttä tuottaa tuollaista palvelua ja vastuu on siksi ollut keskitetty tietovarastoinnin tiimiin tai vastaavaan. Mutta tästä keskittymisestä seuraa omat ongelmansa, joista yksi on hitaus vastata muutokseen.

Data Mesh – mallin käyttöönotto suuri ajattelun muutos eikä välttämättä tapahdu helposti.

Data-alusta monoliittina tarkoittaa sitä että kaikkien sen komponenttien riippuvuus toisistaan on niin suurta ettei muutoksia voi tehdä helposti vain yhteen osioon ja viedä julkaisuputkessa eteenpäin ilman että muiden komponenttien muutoksia olisi huomioitu. Tai ylipäätään viedä vain tiettyä data-alustaan liittyvää komponettia itsenäisenä osiona muihin ympäristöihin julkaisuputkessa.

Data Contract eli datasopimus

Data Contract tarkoittaa käytännössä muodollista sopimusta tiedon tuottajien ja tiedon käyttäjien välillä, sekä saman organisaation sisällä että ulkoisten osapuolten välillä. Tavoitteena on muodollistaa tietynlainen palvelulupaus palvelutasosopimuksen muotoon ja se liittyy tuotettuun data-aineistoon jota kuvataan datatuotteena. Näitä datatuotteita voisi ajatella sitten syötteinä datan käyttäjien omiin tarpeisiin.

Datasopimuksella pyritään määrittämään roolit, vastuut ja oikeudet. Datan ei ajatella liittyvän vain tiettyyn lähdejärjestelmään vaan enemmän ilmiöaluekokonaisuuteen eli domainiin. Datatuotteet, datasopimukset ja Data Mesh – ajattelu kytkeytyvät tässä mielessä vahvasti toisiinsa.

Data Contract voi sisältää datan metadatakuvauksen lisäksi myös sellaisia osia jotka mahdollistavat vaikkapa sanomien validoinnin ja muuta yhteentoimivuutta mahdollistavaa.

Microsoftin Azuren data platform – palvelut

Microsoftilla on Azuren pilvipalvelun kautta tarjota erittäin vahva tarjoama erilaisia Azuren datapalveluita ja uskomme että monet organisaatiot hyötyvät näiden laajasta käyttöönotosta erilaisiin Data & AI - kehittämishankkeisiin.

Lakehouse – analytiikan kehittämiseen löytyy pääasiallisina vaihtoehtoina Azuressa Microsoft Fabric ja Azure Databricks.

Data Mesh – tyyppiseen lähestymiseen Microsoft Fabric tarjoaa suoraan mahdollisuuden.

Ota yhteyttä alla olevalla lomakkeella ja keskustellaan data-alustojen kehittämistarpeistanne!