pilvitietovarasto on julkisessa pilvipalvelussa hallittuna palveluna toimitettava tietokanta, joka on optimoitu analytiikkaan, mittakaavaan ja helppokäyttöisyyteen.
muistan 80-luvun lopulla työskennelleeni ensimmäisen kerran Oracle 6: n kanssa, ”relaatiotietokannassa”, jossa tiedot muotoiltiin taulukoiksi. Käsite tietopalvelu, jossa voisin ladata tietoja ja sitten kysyä sitä standardikielellä (SQL) oli peli vaihtaja minulle. 90-luvulla, kun relaatiotietokannat alkoivat kamppailla analyyttisten työkuormien koon ja monimutkaisuuden kanssa, näimme MPP-tietovarastojen, kuten Teradata, Netezza ja myöhemmin, Vertica ja Greenplum, syntymisen. Vuonna 2010 Yahoo!, yli 20 vuotta relaatiotietokannan syntymän jälkeen, olin onnekas todistaessani merellistä muutosta tiedonhallinnassa avoimen lähdekoodin Hadoop-projektin kanssa. Käsite ”data lake”, jossa voisin kysyä raaka jäsentymätön data oli valtava harppaus eteenpäin kykyni kaapata, tallentaa ja käsitellä enemmän tietoa enemmän ketteryyttä huomattavasti halvemmalla.
todistamme nyt tietovarastoteknologian kolmatta innovaatioaaltoa pilvitietovarastojen myötä. Kun yritykset siirtyvät pilvipalveluihin, ne luopuvat vanhoista paikan päällä olevista tietovarastointiteknologioistaan, mukaan lukien Hadoop, näiden uusien pilvitietoalustojen osalta. Tämä muutos on valtava tektoninen muutos tiedonhallinnassa ja sillä on syvällisiä vaikutuksia yrityksiin.
Pilvitietovaraston hyödyt
pilvipohjaiset tietovarastot vapauttavat yritykset keskittymään liiketoimintansa hoitamiseen sen sijaan, että ne pyörittäisivät huone täynnä palvelimia, ja niiden avulla business intelligence-tiimit voivat tuottaa nopeammin ja parempia tietoja parantuneiden saatavuuksien, skaalautuvuuden ja suorituskyvyn ansiosta.
- Data Access: laittamalla tietonsa pilveen yritykset voivat antaa analyytikoilleen pääsyn reaaliaikaiseen dataan lukuisista lähteistä, jolloin ne voivat suorittaa parempaa Analytiikkaa nopeasti.
- skaalautuvuus: Pilvitietovaraston skaalaaminen on paljon nopeampaa ja halvempaa kuin paikan päällä olevan järjestelmän, koska se ei vaadi uuden laitteiston ostamista (ja mahdollisesti yli-tai alivarastointia) ja skaalaus voi tapahtua automaattisesti tarpeen mukaan
- suorituskyky: pilvitietovarasto mahdollistaa kyselyjen suorittamisen paljon nopeammin kuin perinteinen paikan päällä oleva tietovarasto, halvemmalla.
Pilvitietovaraston valmiudet
jokainen suuri julkinen pilvipalvelutoimittaja tarjoaa oman makunsa pilvitietovarastopalvelusta: Google tarjoaa Bigqueryä, Amazonilla Redshift ja Microsoftilla Azure SQL-tietovarasto. On myös Snowflaken kaltaisia pilvitarjouksia, jotka tarjoavat samat ominaisuudet julkisella pilvellä toimivan, mutta itsenäisesti hallinnoidun palvelun kautta. Kuhunkin näistä palveluista pilvipalvelujen toimittaja tai tietovaraston tarjoaja tarjoaa seuraavat ominaisuudet ”Out of the box”:
- Tietojen tallennus ja hallinta: tiedot tallennetaan pilvipohjaiseen tiedostojärjestelmään (so.S3).
- Automaattiset päivitykset: ei ole olemassa käsitettä ”versio” tai ohjelmistopäivitys.
- kapasiteetin hallinta: datajalanjäljen laajentaminen (tai sopiminen) on helppoa.
Pilvitietovarastoa valittaessa on huomioitava tekijät
miten nämä pilvitietovaraston myyjät tuottavat nämä ominaisuudet ja miten ne veloittavat niistä, on se, missä asiat menevät vivahteikkaammiksi. Sukelletaan syvemmälle erilaisiin käyttöönottototeutuksiin ja hinnoittelumalleihin.
Cloud Architecture: Cluster versus Serverless
pilvitietovarasto-arkkitehtuurien pääleirejä on kaksi. Ensimmäinen, vanhempi käyttöönottoarkkitehtuuri on klusteripohjainen: Amazon Redshift ja Azure SQL Data Warehouse kuuluvat tähän luokkaan. Tyypillisesti, clustered pilvi tietovarastot ovat oikeastaan vain clustered Postgres johdannaiset, siirretty toimimaan palveluna pilvessä. Toinen maku, serverless, on modernimpi ja laskee esimerkeiksi Google BigQueryn ja Snowflaken. Pohjimmiltaan, palvelimettomat pilvi tietovarastot tekevät tietokantaklusterin ”näkymätön” tai jaettu monille asiakkaille. Jokaisella arkkitehtuurilla on hyvät ja huonot puolensa (katso alla).
pilvitietojen hinnoittelu: Maksa juomalla tai palvelimella
käyttöönottoarkkitehtuurin lisäksi toinen merkittävä ero pilvitietovaraston vaihtoehtoihin on hinnoittelu. Kaikissa tapauksissa maksat jonkin nimellisen maksun tallennettujen tietojen määrästä. Mutta hinnoittelu vaihtelee laskentaan.
esimerkiksi Google BigQuery ja Snowflake tarjoavat tilattavia hinnoitteluvaihtoehtoja skannatun datan määrän tai käytetyn laskentaajan perusteella. Amazon Redshift ja Azure SQL-tietovarasto tarjoavat resurssihinnoittelua klusterin solmujen lukumäärän tai tyypin perusteella. Molemmissa hinnoittelumalleissa on hyviä ja huonoja puolia. On-demand-mallit veloittavat vain siitä, mitä käytät, mikä voi tehdä budjetoinnista vaikeaa, koska on vaikea ennustaa käyttäjien määrää ja kyselyjen määrää ja kokoa. Tiedän yksi asiakas esimerkki, jossa käyttäjä vahingossa juoksi $1,000 + kysely.
solmupohjaisissa malleissa (esim. Amazon Redshift ja Azure SQL-tietovarasto) maksat palvelimen ja/tai palvelintyypin mukaan. Tämä hinnoittelumalli on selvästi ennustettavampi, mutta se on ”aina päällä”, joten maksat kiinteän hinnan riippumatta käytöstä.
hinnoittelu on iso harkinta ja vaatii paljon käyttötapaus-ja työmäärämallinnusta, jotta löytää organisaatiolleen sopivan.
Challenges and Considerations for Cloud Migration (The ”Gotchas”)
AtScale, we ’ ve seen lot of enterprises attempt a migration from their On-premise data lakes and/or relational data storages to the cloud. Monien muutto ”pysähtyy” ensimmäisen pilottihankkeen jälkeen seuraavista syistä:
- häiriö: jatkokäyttäjien (liiketoiminta-analyytikoiden, datatieteilijöiden) on muutettava tapojaan ja työstettävä raporttinsa ja mittarinsa uudelleen.
- Performance: the cloud DW ei vastaa huippuunsa viritettyjen, legacy On-premise data-alustojen suorituskykyä.
- Tarraisku – ennakoimattomat tai suunnittelemattomat käyttökustannukset ja kustannusten hallinnan puute.
tässä AtScale voi auttaa
pitämään sen, mitä sinulla on
AtScale A3 minimoi tai eliminoi alustamuuttojen aiheuttamat liiketoimintahäiriöt sallimalla yrityksen jatkaa olemassa olevien BI-työkalujensa, näyttötaulujensa ja raporttiensa käyttöä koodaamatta niitä uudelleen tai hylkäämättä niitä kokonaan. Miten voimme tehdä tämän? AtScale Universal Semantic Layer™ tarjoaa abstraktion, joka hyödyntää vanhoja alustasuunnitelmia käytännössä uudelleen kartoittamalla ne uuteen pilvitietovarastoon. Tämä tarkoittaa, että olemassa olevat raporttisi ja kojelautasi toimivat uudella pilvitietoalustalla minimaalisella tai ilman uudelleenkoodausta.
Supercharge your Performance
näen monien yritysten pettyvän uuden pilvidata-alustansa suorituskykyyn. Se, mitä he eivät useinkaan ota huomioon, on, että heidän olemassa oleva paikan päällä oleva tietovarastonsa (eli Teradata, Oracle) on viritetty vuosia tai jopa vuosikymmeniä. Saman tason suorituskyvyn saaminen” ulos laatikosta ” pilvitietovaraston kanssa ei ole realistista.
AtScale Adaptive Cache™ toimii tuottamalla automaattisesti aggregaatteja pilvitietoalustallasi käyttäjän kyselykuvioiden perusteella. Välttämällä kalliita ja aikaa vieviä taulukoskannauksia AtScale-alusta tarjoaa nopeita, johdonmukaisia kyselyjä ”ajatuksen nopeudella”. Olemme auttaneet monia asiakkaita pääsemään yli suorituskykyhaasteistaan ja purkamaan pilvimuuttonsa.
Keep a Lid on Costs
I can ’t even could the montako kertaa I’ ve heard IT people current that their cloud costs are much higher than they expected and unpredicable to boot. Jälleen, se AtScale Adaptive Cache™ pelastus. Vähentämällä turhia taulukoskannauksia voimme parantaa yleistä suorituskykyä, samanaikaisuutta ja kustannusten ennustettavuutta, jolloin voit saada enemmän irti data-alustastasi lisäämättä kustannuksia. Atscale ’ s machine generated-kyselyillä teemme kustannuksistasi ennustettavia ja eliminoimme käsin kirjoitettuihin SQL-kyselyihin liittyvät riskit.
uskon vilpittömästi, että pilvitietovarastot ovat pelin muuttaja ja seuraava aalto tietovarastoinnissa. Huomaavaisesti käytettynä pilvitietovarastot voivat merkittävästi alentaa käyttökustannuksia samalla kun ne antavat sinulle ketteryyttä pysyä liiketoiminnan vaatimusten tasalla.