Data Platform: replikointi ja integraatio palveluna

Data platform integraatio palveluna

Taustaa

Kirjoitimme edellisissä kirjoituksissa 1) ja 2) moderneista data platformeista eli data-alustoista. Data-alusta on organisaation datakeskeisen ajattelumallin keskiössä.

Datakeskeinen ajattelumalli tarkoittaa sitä, että organisaation liiketoimintaprosessit ja käsitemallit ovat tärkeimmät asiat eikä niinkään sovellukset, jotka näitä suorittavat. Datakeskeinen ajattelumalli takaa jatkuvuuden, teknologiat voivat kyllä muuttua mutta tietyt osat prosesseista ja niiden käsittämistä asioista säilyvät.

Muuttuvat integraatiotyylit

Uudet teknologiat, datamäärien kasvu sekä eräajoikkunan pienentyminen vaikuttavat tapoihin toteuttaa integraatioita. Perinteinen tapa kierrättää dataa integraatiopalvelimen kautta ei ole enää näissä olosuhteissa toimiva.

Tunnettu konsultti Rick van der Lans kirjoitti jo aiemmin miten erilaiset integraatiotavat muuttuvat. Ehkä aito reaaliaikaisuus / sanomapohjaisuus taikka replikointi ei ole vielä lyönyt täysin läpi vaikka onkin kovasti yleistynyt 2020 - luvulla.

Data-alusta ja kehityskustannukset

Data-alustan ja siihen liittyvien muiden palveluiden tulee kyetä tarjoamaan laajasti tukea kehittämiselle, kehittäminen ei ole kuitenkaan ilmaista, mihin asioihin kehittämisessä menee rahaa?

Infra maksaa, joko on-premises mallilla tuotettuna tai kokoelmana pilvipalveluita. Tyypillisesti pilvipalvelut tarjoavat käyttöön nopeasti joukon tarvittavia palveluita ja samalla saadaan aikaan joustavuutta. Pilvipalvelut muuttavat pääomainvestoinnit käyttömenoiksi ja tarvitaan uudenlaista ajattelua sekä seurantaa kustannusten hallitsemiseksi.

Useimmiten kuitenkin keskeisempi kustannus on ostetut tai itse tuotetut kehityspalvelut, palveluostojen tai maksettujen työvoimakustannusten muodossa. Millä tavalla kehityspalveluiden kustannusta olisi mahdollista alentaa taikka muuttaa osin infrakustannuksiksi?

Kaksi mielenkiintoista tapaa ovat:

  • Replikaatio
  • Integraatio palveluna

Replikaatio

Replikaatio on yksinkertaisesti datan kopiointia lähteestä kohteeseen, alla on lueteltu muutamia mekanismeja.

  • Copy and upsert
    • Pienet lähdedatamäärät
  • Incremental load
    • Muutosindikaattorin valinta
  • Log replication / CDC
    • Tietokannan transaktiologin hyödyntäminen
  • Provider – subscriber
    • PostgreSQL Londiste (Skype)
    • Apache Kafka
    • Debezium

Hyötyinä ovat usein, että datamäärät voivat olla perinteistä integraatiota pienempiä, voidaan päästä lähes reaaliaikaisuuteen sekä CDC - mekanismilla voi olla kevyt jalanjälki lähdetietokannan kannalta.

Ongelmia tai kustannuksia aiheuttavia asioita ovat:

  • Voi vaatia erityistoimenpiteitä DBA-tiimin tai ICT:n taholta
  • Jos synkronisointi epäonnistuu, niin uudelleenkäynnistys ja selvitys mitä jäi tulematta
  • Kattaako yksi tuote riittävän määrän käyttötapauksia?
  • Tiedostointegraatioiden tapauksessa eräajo ehkä yksinkertaisempi ratkaisuna

Perinteisesti on-premises ympäristössä replikointituotteet ovat olleet kalliita ja toisaalta tiettyjen tietokantatuotteiden valmiit toiminnallisuudet eivät välttämättä ole tukeneet sitä että dataa replikoidaan toisenlaisesta järjestelmästä toiseen.

Integraatio palveluna

Integraation palveluna käyttäminen tarkoittaa sitä, että oman kehitystyön kustannusta muutetaan palvelumaksujen muodossa tapahtuvaksi kustannukseksi, tämä voi olla järkevää huomioiden kehittäjien palkkataso ja muut tekijät.

Integraatio palveluna voi parhaimmillaan tarkoittaa sitä, että organisaatio ottaa käyttöön plug – and – play - tyyliin joukon erilaisia connectoreja eli yhteyksiä tietolähteisiin. Nämä vain konfiguroidaan ja sen jälkeen palvelu pitää huolen, että data virtaa tietolähteistä kohteeseen.

Integraatio palveluna tarjoaa ajansäästöä, organisaatio voi heti ottaa käyttöön esimerkiksi markkinoinnin datalähteensä ja maksupalvelupalvelussa olevat transaktiotiedot. Tällöin on mahdollista heti tutkia mitkä kampanjat tuottivat parhaat tuotot käytetyillä panoksilla.

Lisää ajankohtaisia julkaisuja:

Azuren palvelut integraatioalustana
Tutustu tarinaan
Mitä on luottoriskien hallinnan data-analytiikka?
Tutustu tarinaan
Dimensiot ja hierarkiat tietomallissa
Tutustu tarinaan
Mitä on riskienhallinnan analytiikka?
Tutustu tarinaan
Tekoäly luo arvoa asiakaskohtaamisissa
Tutustu tarinaan

Lisää ajankohtaisia julkaisuja:

Azuren palvelut integraatioalustana
Tutustu tarinaan
Mitä on luottoriskien hallinnan data-analytiikka?
Tutustu tarinaan
Dimensiot ja hierarkiat tietomallissa
Tutustu tarinaan
Mitä on riskienhallinnan analytiikka?
Tutustu tarinaan
Tekoäly luo arvoa asiakaskohtaamisissa
Tutustu tarinaan