Ennen kuin siirrymme Big Datan esittelyyn, sinun on ensin tiedettävä
Mikä on data?
Määrät, merkit tai symbolit, joille tietokone suorittaa toimintoja, jotka voidaan tallentaa ja välittää sähköisinä signaaleina ja tallentaa magneettisille, optisille tai mekaanisille tallennusvälineille.
Opitaan nyt Big Data -esittely
Mikä on Big Data?
Big Data on kokoelma tietoa, jonka volyymi on valtava, mutta joka kasvaa räjähdysmäisesti ajan myötä. Se on niin suurikokoinen ja monimutkainen data, ettei mikään perinteisistä tiedonhallintatyökaluista pysty tallentamaan tai käsittelemään sitä tehokkaasti. Suuret tiedot ovat myös tietoja, mutta niiden koko on valtava.
Tässä opetusohjelmassa opit,
- Mikä on data?
- Mikä on Big Data?
- Esimerkkejä suurista tiedoista
- Suurten tietojen tyypit
- Isojen tietojen ominaisuudet
- Big Data Processingin edut
Esimerkkejä suurista tiedoista
Seuraavassa on joitain Big Data -esimerkkejä -
New Yorkin pörssi tuottaa noin yhden teratavun uusia kaupallisia tietoja päivässä.
Sosiaalinen media
Tilastot osoittavat, että yli 500 teratavua uutta tietoa syötetään sosiaalisen median Facebook- tietokantoihin päivittäin. Nämä tiedot syntyvät pääasiassa valokuvien ja videoiden lataamisesta, viestien vaihdosta, kommenttien kirjoittamisesta jne.
Yksi suihkumoottori voi tuottaa yli 10 teratavua tietoa 30 minuutin lentoaikana. Monien tuhansien lentojen päivässä tietojen tuottaminen saavuttaa jopa useita petatavuja.
Suurten tietojen tyypit
Seuraavat ovat suurten tietojen tyypit:
- Jäsennelty
- Rakentamaton
- Puolirakenteinen
Jäsennelty
Kaikkia tietoja, joita voidaan tallentaa, käyttää ja käsitellä kiinteässä muodossa, kutsutaan "jäsennellyiksi" tiedoiksi. Ajanjaksolla tietojenkäsittelytieteen lahjakkuus on saavuttanut suurempaa menestystä kehittäessään tekniikoita tällaisen datan käsittelemiseksi (missä muoto on tiedossa etukäteen) ja myös arvon saamiseksi siitä. Nykyään kuitenkin ennakoimme ongelmia, kun tällaisen datan koko kasvaa valtavasti, tyypillisiä kokoja esiintyy useiden zettatavujen raivossa.
Tiedätkö? 10 21 tavua, jotka ovat yhtä zettatavua tai miljardi teratavua, muodostavat zettatavun .
Näitä lukuja tarkasteltaessa voidaan helposti ymmärtää, miksi nimi Big Data annetaan, ja kuvitella sen tallentamiseen ja käsittelyyn liittyvät haasteet.
Tiedätkö? Relaatiotietokantojen hallintajärjestelmään tallennettu data on yksi esimerkki 'jäsennellystä' datasta.
Esimerkkejä strukturoiduista tiedoista
Tietokannan työntekijä-taulukko on esimerkki strukturoidusta datasta
| Henkilöstökortti | Työntekijän nimi | Sukupuoli | Osasto | Palkka_In_lacs |
|---|---|---|---|---|
| 2365 | Rajesh Kulkarni | Uros | Rahoittaa | 650000 |
| 3398 | Pratibha Joshi | Nainen | Järjestelmänvalvoja | 650000 |
| 7465 | Shushil Roy | Uros | Järjestelmänvalvoja | 500000 |
| 7500 | Shubhojit Das | Uros | Rahoittaa | 500000 |
| 7699 | Priya Sane | Nainen | Rahoittaa | 550000 |
Rakentamaton
Kaikki tiedot, joiden muoto tai rakenne on tuntematon, luokitellaan strukturoimattomiksi tiedoiksi. Sen lisäksi, että koko on valtava, strukturoimaton data aiheuttaa useita haasteita sen prosessoinnissa arvon saamiseksi siitä. Tyypillinen esimerkki strukturoimattomasta tiedosta on heterogeeninen tietolähde, joka sisältää yksinkertaisten tekstitiedostojen, kuvien, videoiden yms. Yhdistelmän. Nykypäivän organisaatioilla on käytettävissään runsaasti tietoa, mutta valitettavasti he eivät tiedä, miten saada siitä arvoa, koska nämä tiedot ovat raakamuodossaan tai rakentamattomassa muodossa.
Esimerkkejä jäsentämättömistä tiedoista
Google-haun palauttama tulos
Puolirakenteinen
Puolirakenteinen data voi sisältää molemmat tietomuodot. Voimme nähdä puolirakenteisen datan muodoltaan strukturoituna, mutta sitä ei itse asiassa ole määritelty esim. Taulukon määritelmällä relaatio-DBMS: ssä. Esimerkki puolirakenteisista tiedoista on XML-tiedostossa esitetyt tiedot.
Esimerkkejä osarakenteisista tiedoista
XML-tiedostoon tallennetut henkilötiedot
Prashant Rao Male 35 Seema R. Female 41 Satish Mane Male 29 Subrato Roy Male 26 Jeremiah J. Male 35
Tietojen kasvu vuosien varrella
Huomaa, että jäsentelemättömät verkkosovellustiedot koostuvat lokitiedostoista, tapahtumahistoriatiedostoista jne.
Isojen tietojen ominaisuudet
Suuria tietoja voidaan kuvata seuraavilla ominaisuuksilla:
- Äänenvoimakkuus
- Lajike
- Nopeus
- Vaihtelevuus
(i) Volume - Nimi Big Data itsessään liittyy valtavaan kokoon. Tietojen koko on erittäin tärkeä rooli määritettäessä tietojen arvoa. Myös se, voidaanko tiettyä dataa todella pitää suurena datana vai ei, riippuu datan määrästä. Siksi 'määrä' on yksi ominaisuus, joka on otettava huomioon käsiteltäessä suuria tietoja.
(ii) Lajike - Big Datan seuraava näkökohta on sen monimuotoisuus .
Lajike viittaa heterogeenisiin lähteisiin ja tietojen luonteeseen, sekä jäsenneltyinä että strukturoimattomina. Aikaisempina päivinä taulukot ja tietokannat olivat ainoat tietolähteet, joita suurin osa sovelluksista otti huomioon. Nykyään analyysisovelluksissa otetaan huomioon myös sähköpostin, valokuvien, videoiden, valvontalaitteiden, PDF-tiedostojen, äänen jne. Muodossa olevat tiedot. Tämä strukturoimattomien tietojen moninaisuus aiheuttaa tiettyjä ongelmia tietojen säilyttämisessä, louhinnassa ja analysoinnissa.
(iii) Nopeus - Termi "nopeus" viittaa tiedon tuottamisen nopeuteen. Kuinka nopeasti data luodaan ja käsitellään vaatimusten täyttämiseksi, määrittää datan todellisen potentiaalin.
Big Data Velocity käsittelee nopeutta, jolla data virtaa lähteistä, kuten liiketoimintaprosesseista, sovelluslokeista, verkostoista ja sosiaalisen median sivustoista, antureista, mobiililaitteista jne. Tietovirta on massiivista ja jatkuvaa.
(iv) Vaihtelevuus - Tämä viittaa epäjohdonmukaisuuteen, jonka tiedot voivat toisinaan osoittaa, mikä haittaa tietojen käsittelyä ja hallintaa tehokkaasti.
Big Data Processingin edut
Kyky käsitellä Big Dataa tuo mukanaan useita etuja, kuten
- Yritykset voivat hyödyntää ulkopuolista älykkyyttä tehdessään päätöksiä
Pääsy sosiaalisiin tietoihin hakukoneista ja sivustoista, kuten facebook, twitter antavat organisaatioille mahdollisuuden hienosäätää liiketoimintastrategioitaan.
- Parempi asiakaspalvelu
Perinteiset asiakaspalautusjärjestelmät korvataan uusilla Big Data -tekniikoilla suunnitelluilla järjestelmillä. Näissä uusissa järjestelmissä Big Data- ja luonnollisen kielenkäsittelytekniikoita käytetään lukemaan ja arvioimaan kuluttajien vastauksia.
- Tuotteelle / palvelulle mahdollisesti aiheutuvan riskin varhainen tunnistaminen
- Parempi toiminnan tehokkuus
Big Data -tekniikoita voidaan käyttää uusien alueiden välilasku- tai laskeutumisvyöhykkeen luomiseen, ennen kuin tunnistetaan, mitkä tiedot siirretään tietovarastoon. Lisäksi tällainen Big Data -tekniikoiden ja tietovaraston integrointi auttaa organisaatiota purkamaan harvoin käytettyjä tietoja.
Yhteenveto
- Big Data -määrittely: Big Data määritellään suurikokoisiksi tiedoiksi. Bigdata on termi, jota käytetään kuvaamaan koko, joka on kooltaan valtava ja kuitenkin ajan myötä eksponentiaalisesti kasvava.
- Big Data -analytiikan esimerkkejä ovat pörssit, sosiaalisen median sivustot, suihkumoottorit jne.
- Suuret tiedot voivat olla 1) strukturoituja, 2) rakenteettomia, 3) puolirakenteisia
- Äänenvoimakkuus, vaihtelu, nopeus ja vaihtelu ovat muutamia Big Data -ominaisuuksia
- Parempi asiakaspalvelu, parempi toiminnan tehokkuus, parempi päätöksenteko ovat muutamia Bigdatan etuja