HBase-asennus Ubuntuun

Sisällysluettelo:

Anonim

Tässä opetusohjelmassa opit,

  • Apache HBase -asennustilat
  • Kuinka ladata Hbase tar -tiedoston vakaa versio
  • Hbase - Itsenäisen tilan asennus
  • Hbase - Pseudo-hajautettu asennustila
  • Hbase - Täysin hajautetun tilan asennus
  • HBase-asennuksen vianmääritys

Apache HBase -asennustilat

Apache HBase voidaan asentaa kolmessa tilassa. Näiden tilojen ominaisuudet mainitaan alla.

1) Itsenäisen tilan asennus (Ei riippuvuutta Hadoop-järjestelmästä)

  • Tämä on HBasen oletustila
  • Se toimii paikallista tiedostojärjestelmää vastaan
  • Se ei käytä Hadoop HDFS: ää
  • Vain HMaster-demoni voi toimia
  • Ei suositella tuotantoympäristöön
  • Toimii yhdessä JVM: ssä

2) Pseudohajautetun tilan asennus (yhden solmun Hadoop-järjestelmä + HBase-asennus)

  • Se toimii Hadoop HDFS: llä
  • Kaikki Daemonit kulkevat yhdessä solmussa
  • Suosittele tuotantoympäristöä

3) Täysin hajautetun tilan asennus (MultinodeHadoop-ympäristö + HBase-asennus)

  • Se toimii Hadoop HDFS: llä
  • Kaikki demonit kulkevat kaikkien klusterissa olevien solmujen yli
  • Erittäin suositeltava tuotantoympäristöön

Katso Hadoop-asennus tästä URL-osoitteesta täältä

Kuinka ladata Hbase tar -tiedoston vakaa versio

Vaihe 1) Lataa HBase siirtymällä tähän linkkiin. Se avaa verkkosivun alla olevan kuvan mukaisesti.

Vaihe 2) Valitse vakaa versio alla olevan version 1.1.2 mukaisesti

Vaihe 3) Napsauta hbase-1.1.2-bin.tar.gz. Se lataa tervatiedoston. Kopioi tervatiedosto asennuspaikkaan.

Hbase - erillistilan asennus:

Asennus suoritetaan Ubuntulle Hadoopin ollessa jo asennettu.

Vaihe 1) Aseta hbase-1.1.2-bin.tar.gz kansioon / home / hduser

Vaihe 2) Pura se suorittamalla komento $ tar -xvf hbase-1.1.2-bin.tar.gz . Se purkaa sisällön ja luo hbase-1.1.2 sijaintiin / home / hduser

Vaihe 3) Avaa hbase-env.sh kuten alla ja mainitse JAVA_HOME-polku sijainnissa.

Vaihe 4) Avaa ~ / .bashrc-tiedosto ja mainitse HBASE_HOME-polku alla olevan kuvan mukaisesti

vie HBASE_HOME = / home / hduser / hbase-1.1.1 vie PATH = $ PATH: $ HBASE_HOME / bin

Vaihe 5) Avaa hbase-site.xml ja aseta seuraavat ominaisuudet tiedostoon

hduser @ ubuntu $ gedit hbase-site.xml (koodi alla)

hbase.rootdirfile:///home/hduser/HBASE/hbase
hbase.zookeeper.property.dataDir/home/hduser/HBASE/zookeeper

Tässä asetamme kaksi ominaisuutta

  • Yksi HBase-juurihakemistolle ja
  • Toinen tietohakemisto vastaa ZooKeeperia.

Kaikki HMaster- ja ZooKeeper-toiminnot viittaavat tälle hbase-site.xml-tiedostolle.

Vaihe 6) Avaa / etc-tiedostossa oleva isäntätiedosto. sijainti ja mainitse IP-osoitteet alla olevan kuvan mukaisesti.

Vaihe 7) Suorita nyt Start-hbase.sh hbase-1.1.1 / bin-sijainnissa alla olevan kuvan mukaisesti.

Ja voimme tarkistaa jps-komennolla nähdäksesi, että HMaster on käynnissä tai ei.

Vaihe 8) HBase-kuori voidaan aloittaa käyttämällä "hbase-kuorta" ja se siirtyy interaktiiviseen kuoritilaan, kuten alla olevassa kuvakaappauksessa esitetään. Kun se siirtyy kuoritilaan, voimme suorittaa kaiken tyyppisiä komentoja.

Erillinen tila ei vaadi Hadoop-demonien käynnistymistä. HBase voi toimia itsenäisesti.

Hbase - Pseudo-hajautettu asennustapa:

Tämä on toinen menetelmä Apache Hbase -asennukselle, joka tunnetaan nimellä Pseudo Distributed Installation mode. Alla on vaiheet HBasen asentamiseksi tämän menetelmän avulla.

Vaihe 1) Aseta hbase-1.1.2-bin.tar.gz kansioon / home / hduser

Vaihe 2) Pura se suorittamalla komento $ tar -xvf hbase-1.1.2-bin.tar.gz . Se purkaa sisällön ja luo hbase-1.1.2 sijaintiin / home / hduser

Vaihe 3) Avaa hbase-env.sh seuraavasti ja mainitse JAVA_HOME-polku ja aluepalvelinten polku sijainnissa ja vie komento kuvan mukaisesti

Vaihe 4) Tässä vaiheessa aiomme avata ~ / .bashrc-tiedoston ja mainita HBASE_HOME-polun näyttökuvan osoittamalla tavalla.

Vaihe 5) Avaa HBase-site.xml ja mainitse alla olevat ominaisuudet tiedostossa. (Koodi alla) 

hbase.rootdirhdfs://localhost:9000/hbase
hbase.cluster.distributedtrue
hbase.zookeeper.quorumlocalhost
dfs.replication1
hbase.zookeeper.property.clientPort2181
hbase.zookeeper.property.dataDir/home/hduser/hbase/zookeeper
  1. Hbase-juurihakemiston asettaminen tähän ominaisuuteen
  2. Hajautettua asennusta varten meidän on määritettävä tämä ominaisuus
  3. ZooKeeper-koorumin ominaisuus tulisi perustaa tähän
  4. Tässä ominaisuudessa määritetty replikointi määritetty. Oletuksena asetamme replikoinnin 1: ksi.

    Täysin hajautetussa tilassa on useita datasolmuja, jotta voimme lisätä replikointia sijoittamalla yli 1 arvon dfs.replication -ominaisuuteen

  5. Asiakkaan portti tulee mainita tässä ominaisuudessa
  6. ZooKeeper-tietohakemisto voidaan mainita tässä ominaisuudessa

Vaihe 6) Käynnistä ensin Hadoop-demonit ja sen jälkeen HBase-demonit alla olevan kuvan mukaisesti

Täällä sinun on ensin käynnistettävä Hadoop-demonit käyttämällä "./start-all.sh" -komentoa alla olevan kuvan mukaisesti.

Käynnistämisen jälkeen Hbase-demonit hbase-start.sh

Tarkista nyt jps

Hbase - Täysin hajautetun tilan asennus: -

  • Tämä kokoonpano toimii Hadoop-klusterimoodissa, jossa klusterin yli kutee useita solmuja ja ne ovat käynnissä.
  • Asennus on sama kuin pseudohajautetussa tilassa; ainoa ero on, että se kutee useiden solmujen yli.
  • HBase-site.xml- ja hbase-env.sh-tiedostoissa mainitut kokoonpanotiedostot ovat samat kuin näennäistilassa.

HBase-asennuksen vianmääritys

1) Ongelma: Pääpalvelin alustaa, mutta aluepalvelimet eivät alustaa

Viestintä pää- ja aluepalvelimien välillä niiden IP-osoitteiden kautta. Kuten tapa, jolla päällikkö aikoo kuunnella, että aluepalvelimet ovat käynnissä tai IP-osoite on 127.0.0.1. IP-osoite 127.0.0.1, joka on paikallinen isäntä ja ratkaisee pääpalvelimen oman paikallisen isännän.

Syy:

Aluepalvelinten ja päällikön välisessä kaksoisviestinnässä aluepalvelin ilmoittaa pääpalvelimelle jatkuvasti IP-osoitteidensa olevan 127.0.0.1.

Ratkaisu:

  • Sinun on poistettava pääpalvelimen nimisolmu paikalliselta isännältä, joka on isäntätiedostossa
  • Isäntätiedoston sijainti / etc / hosts

Mitä muuttaa:

Avaa /etc./hosts ja siirry tähän sijaintiin

127.0.0.1 fully.qualified.regionservernameregionservername localhost.localdomain localhost: : 1 localhost3.localdomain3 localdomain3

Muokkaa yllä olevaa kokoonpanoa kuten alla (poista aluepalvelimen nimi yllä korostettuna)

127.0.0.1 localhost.localdomainlocalhost: : 1 localhost3.localdomain3 localdomain3

2) Ongelma: Osoitettani: XYZ ei löytynyt Zookeeper-koorumipalvelimien luettelosta

Syy:

  • ZooKeeper-palvelin ei voinut käynnistyä, ja se heittää palvelimen nimiin virheen, kuten .xyz.
  • HBase yrittää käynnistää ZooKeeper-palvelimen joillakin koneilla, mutta samalla kone ei pysty löytämään itsensä koorumin määrityksestä, ts. Läsnä HBase.zookeeper.quorum- määritystiedostossa.

Ratkaisu:-

  • On korvattava isäntänimi virhesanomassa esitetyllä isäntänimellä
  • Oletetaan, että meillä on DNS-palvelin, ja voimme määrittää alla olevat määritykset HBase-site.xml-tiedostoon.
    • HBase.zookeeper.dns.liitäntä
    • HBase.zookeeper.dns.nameserver

3) Ongelma: Luotu juurihakemisto HBaselle Hadoop DFS: n kautta

  • Päällikkö sanoo, että sinun on suoritettava HBase-siirrot-komentosarja.
  • Tämän suorittamisen jälkeen HBase-siirtymiskomentosarja ei vastaa juurihakemiston tiedostoja .

Syy:

  • Uuden hakemiston luominen HBase: lle käyttämällä Hadoop Distributed -tiedostojärjestelmää
  • Tässä HBase odottaa kahta mahdollisuutta

1) Juurihakemistoa ei ole olemassa

2) HBase edellinen käynnissä oleva instanssi alustettiin aiemmin

Ratkaisu:

  • Tee yhdenmukaisuus HBase-juurihakemistoa ei ole tällä hetkellä tai se on alustettu edellisellä HBase-ilmentymän ajamalla.
  • Osana ratkaisua meidän on noudatettava vaiheita

Vaihe 1) Poista HBase-juurihakemisto Hadoop dfs: n avulla

Vaihe 2) HBase luo ja alustaa hakemiston itse

4) Ongelma: Zookeeper-istunnon vanhentuneet tapahtumat

Syy:

  • HMaster- tai HRegion-palvelimet sulkeutuvat heittämällä poikkeuksia
  • Jos tarkkailemme lokeja, voimme selvittää todelliset heitetyt poikkeukset

Seuraava näyttää poikkeuksen, joka on heitetty Zookeeperin vanhentuneen tapahtuman vuoksi. Korostetut tapahtumat ovat joitain poikkeuksia lokitiedostossa

Lokitiedostokoodi alla olevan kuvan mukaan:

WARN org.apache.zookeeper.ClientCnxn: Exceptionclosing session 0x278bd16a96000f to sun.nio.ch.SelectionKeyImpl@355811ecjava.io.IOException: TIMED OUT at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:906)WARN org.apache.hadoop.hbase.util.Sleeper: We slept 79410ms, ten times longer than scheduled: 5000INFO org.apache.zookeeper.ClientCnxn: Attempting connection to server hostname/IP:PORTINFO org.apache.zookeeper.ClientCnxn: Priming connection to java.nio.channels.SocketChannel[connected local=/IP:PORT remote=hostname/IP:PORT]INFO org.apache.zookeeper.ClientCnxn: Server connection successfulWARN org.apache.zookeeper.ClientCnxn: Exception closing session 0x278bd16a96000d to sun.nio.ch.SelectionKeyImpl@3544d65ejava.io.IOException: Session Expired at org.apache.zookeeper.ClientCnxn$SendThread.readConnectResult(ClientCnxn.java:589)at org.apache.zookeeper.ClientCnxn$SendThread.doIO(ClientCnxn.java:709)at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:945)ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired

Ratkaisu:

  • Oletusmuistikoko on 1 Gt. Pitkäkestoisen tuonnin suorittamiseksi olemme ylläpitäneet RAM-muistin kapasiteettia yli 1 Gt.
  • Sinun on lisättävä Zookeeperin istunnon aikakatkaisua.
  • Istunnon ajan pidentämiseksi Zookeeperistä meidän on muutettava seuraavaa ominaisuutta "hbase-site.xml" -palvelussa, joka esiintyy hbase / conf-kansiopolussa.
  • Istunnon oletusaika on oletusarvoisesti 60 sekuntia. Voimme vaihtaa sen 120 sekuntiin alla mainitulla tavalla
 zookeeper.session.timeout 1200000
 hbase.zookeeper.property.tickTime 6000