Ajankohtaista

Data Platform: replikointi ja integraatio palveluna

Taustaa

Kirjoitin edellisissä kirjoituksissa 1) ja 2) moderneista data platformeista eli data-alustoista. Data-alusta on organisaation datakeskeisen ajattelumallin keskiössä.

Datakeskeinen ajattelumalli tarkoittaa sitä, että organisaation liiketoimintaprosessit ja käsitemallit ovat tärkeimmät asiat eikä niinkään sovellukset, jotka näitä suorittavat. Datakeskeinen ajattelumalli takaa jatkuvuuden, teknologiat voivat kyllä muuttua mutta tietyt osat prosesseista ja niiden käsittämistä asioista säilyvät.

Data-alusta ja kehityskustannukset

Data-alustan ja siihen liittyvien muiden palveluiden tulee kyetä tarjoamaan laajasti tukea kehittämiselle, kehittäminen ei ole kuitenkaan ilmaista, mihin asioihin kehittämisessä menee rahaa?

Infra maksaa, joko on-premises mallilla tuotettuna tai kokoelmana pilvipalveluita. Tyypillisesti pilvipalvelut tarjoavat käyttöön nopeasti joukon tarvittavia palveluita ja samalla saadaan aikaan joustavuutta. Pilvipalvelut muuttavat pääomainvestoinnit käyttömenoiksi ja tarvitaan uudenlaista ajattelua sekä seurantaa kustannusten hallintaan.

Useimmiten kuitenkin keskeisempi kustannus on ostetut tai itse tuotetut kehityspalvelut, palveluostojen tai maksettujen työvoimakustannusten muodossa. Millä tavalla kehityspalveluiden kustannusta olisi mahdollista alentaa taikka muuttaa osin infrakustannuksiksi?

Kaksi mielenkiintoista tapaa ovat:

  • Replikaatio
  • Integraatio palveluna

Replikaatio

Replikaatio on yksinkertaisesti datan kopiointia lähteestä kohteeseen, alla on lueteltu muutamia mekanismeja:

  • Copy and upsert
    • Pienet lähdedatamäärät
  • Incremental load
    • Muutosindikaattorin valinta
  • Log replication / CDC
    • Tietokannan transaktiologin hyödyntäminen
  • Provider – subscriber
    • PostgreSQL Londiste (Skype)
    • Apache Kafka
    • Debezium

Hyötyinä ovat usein, että datamäärät voivat olla perinteistä integraatiota pienempiä, voidaan päästä lähes reaaliaikaisuuteen sekä CDC mekanismilla voi olla kevyt jalanjälki lähdetietokannan kannalta.

Ongelmia tai kustannuksia aiheuttavia asioita ovat:

  • Voi vaatia erityistoimenpiteitä DBA-tiimin tai ICT:n taholta
  • Jos synkronisointi epäonnistuu, niin uudelleenkäynnistys ja selvitys mitä jäi tulematta
  • Kattaako yksi tuote riittävän määrän käyttötapauksia?
  • Tiedostointegraatioiden tapauksessa eräajo ehkä yksinkertaisempi ratkaisuna

Perinteisesti on-premises ympäristössä replikointituotteet ovat olleet kalliita ja toisaalta tiettyjen tietokantatuotteiden valmiit toiminnallisuudet eivät välttämättä ole tukeneet sitä että dataa replikoidaan toisenlaisesta järjestelmästä toiseen.

Integraatio palveluna

Integraation palveluna käyttäminen tarkoittaa sitä, että oman kehitystyön kustannusta muutetaan palvelumaksujen muodossa tapahtuvaksi kustannukseksi, tämä voi olla järkevää huomioiden kehittäjien palkkataso ja muut tekijät.

Integraatio palveluna voi parhaimmillaan tarkoittaa sitä, että organisaatio ottaa käyttöön plug – and – play - tyyliin joukon erilaisia connectoreja eli yhteyksiä tietolähteisiin. Nämä vain konfiguroidaan ja sen jälkeen palvelu pitää huolen, että data virtaa tietolähteistä kohteeseen.

Integraatio palveluna tarjoaa ajansäästöä, organisaatio voi heti ottaa käyttöön esimerkiksi markkinoinnin datalähteensä ja maksupalvelupalvelussa olevat transaktiotiedot. Tällöin on mahdollista heti tutkia mitkä kampanjat tuottivat parhaat tuotot käytetyillä panoksilla.

Ready Solutions Oy on Microsoftin lisäksi Fivetran – nimisen integraation palveluna kumppani, voimme tarjota asiakkaillemme mahdollisuuden hyödyntää tällaista palvelua.

Kirjoitan data-alustojen kirjoitussarjan seuraavassa osassa vähän enemmän siitä mitä hyötyjä Fivetran tarjoaa.

Kirjoittaja

Kirjoittaja on Ready Solutions Oy:n konsultti, jolla on vuosien kokemus erilaisista data-alustoista.

Asko.kauppinen@readysolutions.fi

+358451374850

Lisää ajankohtaisia julkaisuja:

Avoimen datan hyödyntäminen automaattisesti Power BI:tä käyttäen
Tutustu tarinaan
Onko tekoälyn hyödyntämisestä vielä(kään) konkreettista hyötyä kilpailukyvylle?
Jo vuosia on puhuttu, että tekoälyn (AI) hyödyntäminen mullistaisi teollisen tuotannon ja palvelut lisäämällä tehokkuutta ja tuottavuutta. Missä ne konkreettiset hyödyntämismahdollisuudet sitten oikein piilevät?
Tutustu tarinaan
Johdatko toimintaasi tietoon perustuen?
Tutustu tarinaan
The effect of preconceptions on the results of machine learning
The use of machine learning and artificial intelligence offers many possibilities, such as the improvement of medical treatment and diagnosis, identifying potential safety hazards, and advancing scientific research. However, when used inappropriately, data models can also perpetuate inequality or cause people and companies to focus on improving metrics to the detriment of actual performance.
Tutustu tarinaan
Organisaation hierarkian hallintaratkaisu Microsoft Power Platformia hyödyntäen 
Yleinen tilanne varsinkin suuremmissa yrityksissä on se, että olemassa olevat ERP-, henkilöstö- taikka taloushallinnon ohjelmistot tarjoavat mahdollisuuksia hierarkioiden luomiseen ja ylläpitämiseen. Mutta entä jos valmiit ratkaisut eivät tue yrityksen tarvetta, taikka toimivat turhan kankeasti käyttötarkoitukseen?
Tutustu tarinaan

Lisää ajankohtaisia julkaisuja:

Avoimen datan hyödyntäminen automaattisesti Power BI:tä käyttäen
Tutustu tarinaan
Onko tekoälyn hyödyntämisestä vielä(kään) konkreettista hyötyä kilpailukyvylle?
Jo vuosia on puhuttu, että tekoälyn (AI) hyödyntäminen mullistaisi teollisen tuotannon ja palvelut lisäämällä tehokkuutta ja tuottavuutta. Missä ne konkreettiset hyödyntämismahdollisuudet sitten oikein piilevät?
Tutustu tarinaan
Johdatko toimintaasi tietoon perustuen?
Tutustu tarinaan
The effect of preconceptions on the results of machine learning
The use of machine learning and artificial intelligence offers many possibilities, such as the improvement of medical treatment and diagnosis, identifying potential safety hazards, and advancing scientific research. However, when used inappropriately, data models can also perpetuate inequality or cause people and companies to focus on improving metrics to the detriment of actual performance.
Tutustu tarinaan
Organisaation hierarkian hallintaratkaisu Microsoft Power Platformia hyödyntäen 
Yleinen tilanne varsinkin suuremmissa yrityksissä on se, että olemassa olevat ERP-, henkilöstö- taikka taloushallinnon ohjelmistot tarjoavat mahdollisuuksia hierarkioiden luomiseen ja ylläpitämiseen. Mutta entä jos valmiit ratkaisut eivät tue yrityksen tarvetta, taikka toimivat turhan kankeasti käyttötarkoitukseen?
Tutustu tarinaan