Kuinka asentaa Hadoop vaiheittaisten määritysten avulla Ubuntuun

Sisällysluettelo:

Anonim

Tässä opetusohjelmassa opastamme sinut vaihe vaiheelta asentamaan Apache Hadoopin Linux-ruutuun (Ubuntu). Tämä on 2-osainen prosessi

  • Osa 1) Lataa ja asenna Hadoop
  • Osa 2) Määritä Hadoop

Edellytyksiä on 2

  • Sinulla on oltava asennettuna ja käynnissä Ubuntu
  • Sinulla on oltava Java asennettuna.

Osa 1) Lataa ja asenna Hadoop

Vaihe 1) Lisää Hadoop-järjestelmän käyttäjä alla olevan komennon avulla

sudo addgroup hadoop_

sudo adduser --ingroup hadoop_ hduser_

Kirjoita salasanasi, nimesi ja muut tiedot.

HUOMAUTUS: Tässä asennus- ja asennusprosessissa voi olla alla mainittu virhe.

"hduseria ei ole sudoers-tiedostossa. Tästä tapahtumasta ilmoitetaan."

Tämä virhe voidaan ratkaista kirjautumalla pääkäyttäjänä

Suorita komento

sudo adduser hduser_ sudo

Re-login as hduser_

Vaihe 2) Määritä SSH

Ryhmän solmujen hallitsemiseksi Hadoop vaatii SSH-pääsyn

Vaihda ensin käyttäjä ja kirjoita seuraava komento

su - hduser_

Tämä komento luo uuden avaimen.

ssh-keygen -t rsa -P ""

Ota SSH-yhteys paikalliseen koneeseen käyttöön tällä avaimella.

cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

Testaa nyt SSH-asetukset muodostamalla yhteys paikalliseen isäntään hduser-käyttäjänä.

ssh localhost

Huomaa: Huomaa, että jos näet alla olevan virheen 'ssh localhost' vastauksena, on mahdollista, että SSH ei ole käytettävissä tässä järjestelmässä-

Tämän ratkaisemiseksi -

Poista SSH käyttämällä

sudo apt-get purge openssh-server

On hyvä puhdistaa ennen asennuksen aloittamista

Asenna SSH komento-

sudo apt-get install openssh-server

Vaihe 3) Seuraava vaihe on ladata Hadoop

Valitse Vakaa

Valitse tar.gz-tiedosto (ei tiedosto, jossa on src)

Kun lataus on valmis, siirry tervatiedoston sisältävään hakemistoon

Tulla sisään,

sudo tar xzf hadoop-2.2.0.tar.gz

Nimeä nyt hadoop-2.2.0 uudelleen hadoopiksi

sudo mv hadoop-2.2.0 hadoop

sudo chown -R hduser_:hadoop_ hadoop

Osa 2) Määritä Hadoop

Vaihe 1) Muokkaa ~ / .bashrc- tiedostoa

Lisää seuraavat rivit tiedoston ~ / .bashrc loppuun 

#Set HADOOP_HOMEexport HADOOP_HOME=#Set JAVA_HOMEexport JAVA_HOME=# Add bin/ directory of Hadoop to PATHexport PATH=$PATH:$HADOOP_HOME/bin

Lähde nyt tämä ympäristökokoonpano alla olevan komennon avulla

. ~/.bashrc

Vaihe 2) HDFS: ään liittyvät määritykset

Set JAVA_HOME sisällä tiedosto $ HADOOP_HOME / etc / Hadoop / hadoop-env.sh

Kanssa

Kohteessa $ HADOOP_HOME / etc / hadoop / core-site.xml on kaksi parametria, jotka on asetettava

1. 'hadoop.tmp.dir' - Määritetään hakemisto, jota Hadoop käyttää datatiedostojensa tallentamiseen.

2. 'fs.default.name' - Tämä määrittää oletustiedostojärjestelmän.

Voit asettaa nämä parametrit avaamalla core-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/core-site.xml

Kopioi rivin alapuolelle tunnisteiden väliin

hadoop.tmp.dir/app/hadoop/tmpParent directory for other temporary directories.
fs.defaultFS hdfs://localhost:54310The name of the default file system.

Siirry hakemistoon $ HADOOP_HOME / etc / Hadoop

Luo nyt hakemisto, joka on mainittu core-site.xml-tiedostossa

sudo mkdir -p

Myönnä hakemistolle käyttöoikeudet

sudo chown -R hduser_:Hadoop_ 

sudo chmod 750

Vaihe 3) Kartan pienennä kokoonpanoa

Ennen kuin aloitat näillä kokoonpanoilla, anna asettaa HADOOP_HOME-polku

sudo gedit /etc/profile.d/hadoop.sh

Ja Enter

export HADOOP_HOME=/home/guru99/Downloads/Hadoop

Seuraava kirjoita

sudo chmod +x /etc/profile.d/hadoop.sh

Poistu terminaalista ja käynnistä se uudelleen

Kirjoita echo $ HADOOP_HOME. Vahvista polku

Kopioi nyt tiedostot

sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

Avaa tiedosto mapred-site.xml

sudo gedit $HADOOP_HOME/etc/hadoop/mapred-site.xml

Lisää asetusten rivien alle tunnisteiden ja väliin

mapreduce.jobtracker.addresslocalhost:54311MapReduce job tracker runs at this host and port.

Avaa $ HADOOP_HOME / etc / hadoop / hdfs-site.xml kuten alla,

sudo gedit $HADOOP_HOME/etc/hadoop/hdfs-site.xml

Lisää asetusten alapuolelle tunnisteiden ja väliin asetuksia

dfs.replication1Default block replication.
dfs.datanode.data.dir/home/hduser_/hdfs

Luo yllä olevassa asetuksessa määritetty hakemisto-

sudo mkdir -p 
sudo mkdir -p /home/hduser_/hdfs

sudo chown -R hduser_:hadoop_ 
sudo chown -R hduser_:hadoop_ /home/hduser_/hdfs

sudo chmod 750 
sudo chmod 750 /home/hduser_/hdfs

Vaihe 4) Ennen kuin aloitamme Hadoopin ensimmäisen kerran, alusta HDFS käyttämällä alla olevaa komentoa

$HADOOP_HOME/bin/hdfs namenode -format

Vaihe 5) Käynnistä Hadoopin yksisolmuryhmä alla olevan komennon avulla

$HADOOP_HOME/sbin/start-dfs.sh

Yllä olevan komennon tulos

$HADOOP_HOME/sbin/start-yarn.sh

Käyttäen 'JPS' työkalu / komento, ovatko kaikki Hadoop liittyvät prosessit ovat käynnissä vai ei.

Jos Hadoop on käynnistynyt onnistuneesti, JPPS-lähdön pitäisi näyttää NameNode, NodeManager, ResourceManager, SecondaryNameNode, DataNode.

Vaihe 6) Hadoopin lopettaminen

$HADOOP_HOME/sbin/stop-dfs.sh

$HADOOP_HOME/sbin/stop-yarn.sh