Data Engineering on tieteenala, joka keskittyy suurten tietomäärien hallintaan ja käsittelyyn. Se perustuu käsitteisiin ja menetelmiin, jotka mahdollistavat tiedon tehokkaan keräämisen, tallentamisen, jakamisen, analysoinnin ja suojauksen (Provost & Fawcett, 2013).


Data Engineering yhdistää monitieteisellä tavalla tietojenkäsittelytieteen, tilastotieteen ja liiketalouden (Krishnan, 2018). Tietojenkäsittelytieteen puolelta tulevat algoritmit, ohjelmistosuunnittelu ja tietojärjestelmät. Tilastotiede tarjoaa menetelmiä datan analysointiin ja ymmärtämiseen. Liiketalouden näkökulma auttaa ymmärtämään, miten tietoa voidaan hyödyntää liiketoiminnan kehittämisessä.


Data Engineeringin keskeiset osa-alueet ovat datan kerääminen, tallennus, jalostaminen ja analysointi. Datan kerääminen tarkoittaa tietojen hankkimista erilaisista lähteistä, kuten sensorilta, logitiedostoista tai sosiaalisen median palveluista (Marz & Warren, 2015). Tallennuksessa keskitytään tietojen säilyttämiseen tehokkaasti ja turvallisesti. Tässä tietokannat ovat keskeisessä roolissa (Garcia-Molina, Ullman & Widom, 2008).


Datan jalostus tarkoittaa raakadatan muuttamista sellaiseen muotoon, että sitä voidaan käyttää analysointiin tai päätöksentekoon (Russom, 2011). Tämä voi tarkoittaa esimerkiksi datan siivoamista, muuntamista tai yhdistämistä. Analysoinnissa hyödynnetään erilaisia menetelmiä, kuten koneoppimista tai tilastollisia menetelmiä, joiden avulla voidaan tuottaa hyödyllistä tietoa datasta (Hastie, Tibshirani & Friedman, 2001).


Data Engineering on keskeinen osa nykypäivän datavetoista maailmaa. Se mahdollistaa tiedon hyödyntämisen erilaisissa ympäristöissä, kuten tekoälyn sovelluksissa, liiketoiminnan päätöksenteossa tai tieteen tutkimuksessa.


Data Engineering prosessit ovat moninaisia ja niitä voidaan kuvata erilaisilla prosessimalleilla. Seuraavassa esitellään kuusi käytetyintä prosessimallia Data Engineeringissä, lähteineen.


1. OSEMN (Otain, Scrub, Explore, Model, iNterpret)

OSEMN-malli on etenkin tieteen ja tutkimuksen piirissä suosittu viitekehys datatieteen prosessien kuvaamiseen, ja se on sovellettavissa myös data engineeringiin. Malli koostuu viidestä päävaiheesta: datan hankinta (Obtain), datan siivous (Scrub), datan tutkiminen (Explore), datan mallintaminen (Model) ja tulosten tulkinta (iNterpret).


a. Datan hankinta on prosessin ensimmäinen vaihe. Se tarkoittaa sopivan datan löytämistä ja hankkimista, mikä voi tulla monista eri lähteistä, kuten tietokannoista, tiedostojärjestelmistä tai verkkopalveluista.


b. Datan siivous on seuraava vaihe, jossa datasta poistetaan virheitä, puuttuvia arvoja ja muita epätäydellisyyksiä. Tämä vaihe on erittäin tärkeä, koska sen tavoitteena on varmistaa, että data on laadukasta ja luotettavaa analyysia varten.


c. Datan tutkiminen tarkoittaa datan ymmärtämistä ja sen ominaisuuksien tutkimista. Tässä vaiheessa voidaan käyttää erilaisia tilastollisia menetelmiä, visualisointeja ja muita työkaluja, jotka auttavat ymmärtämään datan rakennetta, ominaisuuksia ja suhteita.


d. Datan mallintaminen on vaihe, jossa dataa käytetään mallien luomiseen, jotka kuvaavat datan rakennetta ja suhteita. Mallit voivat olla tilastollisia malleja, koneoppimismalleja tai muita matemaattisia malleja.


e. Tulosten tulkinta on prosessin viimeinen vaihe, jossa mallien tuloksia analysoidaan ja tulkitaan. Tämä voi sisältää mallien suorituskyvyn arvioinnin, tulosten visualisoinnin ja tulosten tulkinnan liiketoiminnan tai tieteen näkökulmasta.

OSEMN-malli tarjoaa yksinkertaisen ja selkeän viitekehyksen datan käsittelyyn ja analysointiin, joka on sovellettavissa monissa eri konteksteissa ja tehtävissä.


Lähde: https://sites.google.com/a/isim.net.in/datascience_isim/taxonomy 



2. Tietämyksen löytäminen tietokannoista (KDD: Knowledge Discovery in Databases)

KDD on perinteinen menetelmä, jota on käytetty laajalti datan louhintaan ja tiedon löytämiseen suurista tietokannoista. Se sisältää useita vaiheita, kuten datan valmistelun, esiprosessoinnin, muunnoksen, datan louhinnan, tulosten tulkinnan ja arvioinnin. KDD-menetelmä kuvaa monimutkaisia ja iteratiivisia prosesseja, joita data insinöörit käyttävät tiedon löytämiseen ja analysointiin.


3. CRISP-DM (Cross Industry Standard Process for Data Mining)

CRISP-DM on teollisuuden standardi datan louhintaan. Se on kuusivaiheinen prosessimalli, joka sisältää liiketoimintaymmärryksen, datan ymmärryksen, datan valmistelun, mallinnuksen, arvioinnin ja käyttöönoton. CRISP-DM korostaa prosessin iteratiivista luonnetta ja tarjoaa joustavan viitekehyksen, jota voidaan soveltaa eri teollisuudenaloilla ja erilaisissa projekteissa.


4. Data Vault

Data Vault on moderni lähestymistapa tietovarastoinnissa ja se on suunniteltu käsittelemään suuria ja monimutkaisia datamääriä. Data Vault -malli sisältää kolmen tyyppisiä tietorakenteita: liiketoimintanäkymän, satelliittinäkymän ja linkkinäkymän. Data Vault tarjoaa joustavan ja skaalautuvan ratkaisun datan hallintaan, joka on hyödyllinen nykyisessä suurten datamäärien ja monimutkaisen datan ympäristössä.


5. Agile Data Engineering

Agile Data Engineering on moderni lähestymistapa, joka ottaa käyttöön ketterän kehityksen periaatteet datan insinöörintyöhön. Se korostaa jatkuvaa parannusta, joustavuutta muutosten edessä ja tiivistä yhteistyötä eri sidosryhmien kanssa. Agile Data Engineering voi sisältää erilaisia käytäntöjä, kuten jatkuvan integraation, testausvetoinen kehitys ja iteratiivinen suunnittelu. Tämä lähestymistapa voi parantaa datan hallinnan nopeutta ja laatua, sekä mahdollistaa tehokkaamman yhteistyön datatiimien ja liiketoiminnan välillä.


Nämä viisi mallia tarjoavat erilaisia lähestymistapoja datan insinöörintyöhön, mukaan lukien datan louhinta, tietovarastointi, datan hallinta ja analytiikka. Jokaisella mallilla on omat vahvuutensa ja ne ovat soveltuvia erilaisiin konteksteihin ja tehtäviin. Valinta riippuu useista tekijöistä, kuten organisaation tarpeista, datan luonteesta, käytettävissä olevista resursseista ja tavoitteista.