本章將介紹如何安裝HBase和初始配置。 需要用Java和Hadoop來處理HBase,所以必須下載java和Hadoop并安裝系統(tǒng)中。
安裝Hadoop在Linux環(huán)境下之前,需要建立和使用Linux SSH(安全Shell)。按照下面設(shè)立Linux環(huán)境提供的步驟。
首先,建議從Unix創(chuàng)建一個單獨的Hadoop用戶,文件系統(tǒng)隔離Hadoop文件系統(tǒng)。按照下面給出創(chuàng)建用戶的步驟。
打開Linux終端,輸入以下命令來創(chuàng)建一個用戶
$ su password: # useradd hadoop # passwd hadoop New passwd: Retype new passwd
SSH設(shè)置需要在集群上執(zhí)行不同的操作,如啟動,停止和分布式守護shell操作。進行身份驗證不同的Hadoop用戶,需要一種用于Hadoop的用戶提供的公鑰/私鑰對,并用不同的用戶共享。
以下的命令被用于生成使用SSH密鑰值對。復制公鑰從id_rsa.pub為authorized_keys,并提供所有者,讀寫權(quán)限到authorized_keys文件。
$ ssh-keygen -t rsa $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys $ chmod 0600 ~/.ssh/authorized_keys
ssh localhost
Java是Hadoop和HBase主要先決條件。首先應該使用"java -verion"檢查java是否存在在您的系統(tǒng)上。 java -version 命令的語法如下。
$ java -version
如果一切正常,它會得到下面的輸出。
java version "1.7.0_71" Java(TM) SE Runtime Environment (build 1.7.0_71-b13) Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)
如果Java還沒有安裝在系統(tǒng)中,然后按照下面給出的步驟安裝Java。
下載Java(JDK - X64.tar.gz),可以通過訪問以下鏈接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html。
jdk-7u71-linux-x64.tar.gz 將被下載到系統(tǒng)。
一般來說,下載文件夾中包含有Java文件。驗證它,使用下面的命令提取jdk-7u71-linux-x64.gz文件。
$ cd Downloads/ $ ls jdk-7u71-linux-x64.gz $ tar zxf jdk-7u71-linux-x64.gz $ ls jdk1.7.0_71 jdk-7u71-linux-x64.gz
為了使Java提供給所有用戶,必須將它移動到“/usr/local/”。打開終端然后以root用戶身份鍵入以下命令。
$ su password: # mv jdk1.7.0_71 /usr/local/ # exit
有關(guān)設(shè)置PATH和JAVA_HOME變量,添加以下命令到?/.bashrc文件。
export JAVA_HOME=/usr/local/jdk1.7.0_71 export PATH= $PATH:$JAVA_HOME/bin
現(xiàn)在從終端驗證 java -version 命令如上述說明
安裝Java之后,接下來就是安裝Hadoop。首先使用“Hadoop version” 命令驗證 Hadoop 是否存在,如下所示。
hadoop version
如果一切正常,它會得到下面的輸出。
Hadoop 2.6.0 Compiled by jenkins on 2014-11-13T21:10Z Compiled with protoc 2.5.0 From source with checksum 18e43357c8f927c0695f1e9522859d6a This command was run using /home/hadoop/hadoop/share/hadoop/common/hadoop-common-2.6.0.jar
如果系統(tǒng)上是無法找到 Hadoop,那么證明還未安裝,現(xiàn)在下載Hadoop在您的系統(tǒng)上。按照下面給出的命令。
從Apache軟件基金會下載并使用下面的命令提取 Hadoop-2.6.0。
$ su password: # cd /usr/local # wget http://mirrors.advancedhosters.com/apache/hadoop/common/hadoop- 2.6.0/hadoop-2.6.0-src.tar.gz # tar xzf hadoop-2.6.0-src.tar.gz # mv hadoop-2.6.0/* hadoop/ # exit
可在任何需要的方式安裝Hadoop。在這里將展示 HBase 模擬分布式模式功能,因此模擬分布式模式的Hadoop安裝。
按下面的步驟來安裝 Hadoop 2.4.1.
可以通過附加下面的命令在 ?/ .bashrc文件中以設(shè)置 Hadoop 環(huán)境變量。
export HADOOP_HOME=/usr/local/hadoop export HADOOP_MAPRED_HOME=$HADOOP_HOME export HADOOP_COMMON_HOME=$HADOOP_HOME export HADOOP_HDFS_HOME=$HADOOP_HOME export YARN_HOME=$HADOOP_HOME export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin export HADOOP_INSTALL=$HADOOP_HOME
現(xiàn)在,應用所有更改到當前正在運行的系統(tǒng)。
$ source ~/.bashrc
找到位于 “$HADOOP_HOME/etc/hadoop” 目錄下所有的Hadoop配置文件。根據(jù)需要Hadoop將配置文件中的內(nèi)容作修改。
$ cd $HADOOP_HOME/etc/hadoop
為了使用Java開發(fā)Hadoop程序,必須用java在系統(tǒng)中的位置來替換 hadoop-env.sh文件中的 java環(huán)境變量JAVA_HOME的值。
export JAVA_HOME=/usr/local/jdk1.7.0_71
編輯以下文件來配置Hadoop。
core-site.xml
core-site.xml文件中包含,如:用于Hadoop實例的端口號,分配給文件系統(tǒng),存儲器限制用于存儲數(shù)據(jù)存儲器和讀/寫緩沖器的大小的信息。
打開core-site.xml,并在<configuration>和</configuration>標簽之間添加以下屬性。
<configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration>
hdfs-site.xml
hdfs-site.xml文件中包含,如:復制數(shù)據(jù)的值,NameNode的路徑,本地文件系統(tǒng),要存儲Hadoop基礎(chǔ)架構(gòu)的Datanode路徑的信息。
假設(shè)有以下數(shù)據(jù)。dfs.replication (data replication value) = 1 (In the below given path /hadoop/ is the user name. hadoopinfra/hdfs/namenode is the directory created by hdfs file system.) namenode path = //home/hadoop/hadoopinfra/hdfs/namenode (hadoopinfra/hdfs/datanode is the directory created by hdfs file system.) datanode path = //home/hadoop/hadoopinfra/hdfs/datanode
打開這個文件,并在<configuration>和</configuration> 標記之間添加以下屬性。
<configuration$gt; <property$gt; <name$gt;dfs.replication</name $gt; <value$gt;1</value$gt; </property$gt; <property$gt; <name$gt;dfs.name.dir</name$gt; <value$gt;file:///home/hadoop/hadoopinfra/hdfs/namenode</value$gt; </property$gt; <property$gt; <name$gt;dfs.data.dir</name$gt; <value$gt;file:///home/hadoop/hadoopinfra/hdfs/datanode</value$gt; </property$gt; </configuration$gt;
注:上面的文件,所有的屬性值是用戶定義的,可以根據(jù)自己的Hadoop的基礎(chǔ)架構(gòu)進行更改。
yarn-site.xml
此文件用于配置成yarn在Hadoop中。打開yarn-site.xml文件,并在<configuration><configuration>標簽之前添加以下屬性到這個文件中。
<configuration$gt; <property$gt; <name$gt;yarn.nodemanager.aux-services</name$gt; <value$gt;mapreduce_shuffle</value$gt; </property$gt; </configuration$gt;
mapred-site.xml
此文件用于指定MapReduce框架以使用。默認情況下Hadoop包含yarn-site.xml模板。首先,它需要從mapred-site.xml復制模板到mapred-site.xml文件,使用下面的命令來。
$ cp mapred-site.xml.template mapred-site.xml
打開 mapred-site.xml 文件,并在<configuration> 和 </configuration>標簽之間添加以下屬性。
<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>
下面的步驟是用來驗證Hadoop的安裝。
設(shè)置名稱節(jié)點使用“hdfs namenode -format”命令如下
$ cd ~ $ hdfs namenode -format
預期的結(jié)果如下。
10/24/14 21:30:55 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = localhost/192.168.1.11 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.4.1 ... ... 10/24/14 21:30:56 INFO common.Storage: Storage directory /home/hadoop/hadoopinfra/hdfs/namenode has been successfully formatted. 10/24/14 21:30:56 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 10/24/14 21:30:56 INFO util.ExitUtil: Exiting with status 0 10/24/14 21:30:56 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at localhost/192.168.1.11 ************************************************************/
下面的命令用來啟動DFS。執(zhí)行這個命令將啟動Hadoop文件系統(tǒng)。
$ start-dfs.sh
預期的結(jié)果如下。
10/24/14 21:37:56 Starting namenodes on [localhost] localhost: starting namenode, logging to /home/hadoop/hadoop- 2.4.1/logs/hadoop-hadoop-namenode-localhost.out localhost: starting datanode, logging to /home/hadoop/hadoop- 2.4.1/logs/hadoop-hadoop-datanode-localhost.out Starting secondary namenodes [0.0.0.0]
下面的命令用來啟動yarn腳本。執(zhí)行此命令將啟動yarn守護進程。
$ start-yarn.sh
預期的結(jié)果如下。
starting yarn daemons starting resourcemanager, logging to /home/hadoop/hadoop- 2.4.1/logs/yarn-hadoop-resourcemanager-localhost.out localhost: starting nodemanager, logging to /home/hadoop/hadoop- 2.4.1/logs/yarn-hadoop-nodemanager-localhost.out
訪問Hadoop的默認端口號為50070。使用以下網(wǎng)址,以獲取Hadoop服務在瀏覽器中。
http://localhost:50070
訪問群集的所有應用程序的默認端口號為8088。使用以下URL訪問該服務。
http://localhost:8088/
單機模式,模擬分布式模式,以及全分布式模式:可以在任何的三種模式來安裝HBase。
使用 “wget” 命令下載HBase,下載網(wǎng)址為:http://www.interiordsgn.com/apache/hbase/stable/ ,選擇最新的穩(wěn)定版本,并使用 tar “zxvf” 命令將其解壓縮。請參見下面的命令。
$cd usr/local/ $wget http://www.interior-dsgn.com/apache/hbase/stable/hbase-0.98.8- hadoop2-bin.tar.gz $tar -zxvf hbase-0.98.8-hadoop2-bin.tar.gz
切換到超級用戶模式,將HBase文件復制到/usr/local,如下圖所示。
$su $password: enter your password here mv hbase-0.99.1/* Hbase/
在繼續(xù)HBase之前,需要編輯下列文件和配置HBase。
hbase-env.sh
為HBase設(shè)置Java目錄,并從conf文件夾打開hbase-env.sh文件。編輯JAVA_HOME環(huán)境變量,改變路徑到當前JAVA_HOME變量,如下圖所示。
cd /usr/local/Hbase/conf gedit hbase-env.sh
這將打開HBase的env.sh文件?,F(xiàn)在使用當前值替換現(xiàn)有JAVA_HOME值,如下圖所示。
export JAVA_HOME=/usr/lib/jvm/java-1.7.0
hbase-site.xml
這是HBase的主配置文件。通過在 /usr/local/HBase 打開HBase主文件夾,設(shè)置數(shù)據(jù)目錄到合適的位置。在 conf 文件夾里面有幾個文件,現(xiàn)在打開hbase-site.xml文件,如下圖所示。
#cd /usr/local/HBase/ #cd conf # gedit hbase-site.xml
在hbase-site.xml文件里面,找到 <configuration> 和 </configuration> 標簽。并在其中,設(shè)置屬性鍵名為“hbase.rootdir”,如下圖所示的HBase目錄。
<configuration> //Here you have to set the path where you want HBase to store its files. <property> <name>hbase.rootdir</name> <value>file:/home/hadoop/HBase/HFiles</value> </property> //Here you have to set the path where you want HBase to store its built in zookeeper files. <property> <name>hbase.zookeeper.property.dataDir</name> <value>/home/hadoop/zookeeper</value> </property> </configuration>
到此 HBase 的安裝配置已成功完成??梢酝ㄟ^使用 HBase 的 bin 文件夾中提供 start-hbase.sh 腳本啟動 HBase。為此,打開HBase 主文件夾,然后運行 HBase 啟動腳本,如下圖所示。
$cd /usr/local/HBase/bin $./start-hbase.sh
如果一切順利,當運行HBase啟動腳本,它會提示一條消息:HBase has started
starting master, logging to /usr/local/HBase/bin/../logs/hbase-tpmaster-localhost.localdomain.out
現(xiàn)在,來看看如何安裝HBase在模擬分布式模式。
繼續(xù)進行HBase之前,在本地系統(tǒng)或遠程系統(tǒng)上配置Hadoop HDFS并確保它們正在運行。如果它正在運行則先停止HBase。
hbase-site.xml
編輯hbase-site.xml文件中添加以下屬性。
<property> <name>hbase.cluster.distributed</name> <value>true</value> </property>
它會提到在HBase的哪種模式運行。 從本地文件系統(tǒng)相同的文件改變hbase.rootdir,HDFS實例地址使用hdfs://// URI 語法。在本地主機的端口8030上運行HDFS。
<property> <name>>hbase.rootdir</name> <value>hdfs://localhost:8030/hbase</value> </property>
經(jīng)過配置結(jié)束后,瀏覽到HBase的主文件夾,并使用以下命令啟動HBase。
$cd /usr/local/HBase $bin/start-hbase.sh
注:在啟動 HBase 之前,請確保 Hadoop 運行。
HBase創(chuàng)建其目錄在HDFS中。要查看創(chuàng)建的目錄,瀏覽到Hadoop bin并鍵入以下命令
$ ./bin/hadoop fs -ls /hbase
如果一切順利的話,它會給下面的輸出。
Found 7 items drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/.tmp drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/WALs drwxr-xr-x - hbase users 0 2014-06-25 18:48 /hbase/corrupt drwxr-xr-x - hbase users 0 2014-06-25 18:58 /hbase/data -rw-r--r-- 3 hbase users 42 2014-06-25 18:41 /hbase/hbase.id -rw-r--r-- 3 hbase users 7 2014-06-25 18:41 /hbase/hbase.version drwxr-xr-x - hbase users 0 2014-06-25 21:49 /hbase/oldWALs
使用“local-master-backup.sh”就可以啟動多達10臺服務器。打開HBase的master主文件夾,并執(zhí)行以下命令來啟動它。
$ ./bin/local-master-backup.sh 2 4
要中止備份主服務,需要它的進程ID,它被存儲在一個文件名為“/tmp/hbase-USER-X-master.pid”中,可以使用下面的命令中止備份主服務。
$ cat /tmp/hbase-user-1-master.pid |xargs kill -9
可以使用下面的命令來運行在單一系統(tǒng)中的多個區(qū)域的服務器。
$ .bin/local-regionservers.sh start 2 3
要停止區(qū)域服務器,可以使用下面的命令。
$ .bin/local-regionservers.sh stop 3
下面給出的是啟動HBase shell的步驟。打開終端,并登錄為超級用戶。
通過Hadoop主目錄下的sbin目錄文件夾瀏覽并啟動Hadoop文件系統(tǒng),如下所示。
$cd $HADOOP_HOME/sbin $start-all.sh
通過HBase根目錄下的bin文件夾瀏覽并啟動HBase。
$cd /usr/local/HBase $./bin/start-hbase.sh
這在相同目錄。啟動它,如下圖所示:
$./bin/local-master-backup.sh start 2 (number signifies specific server.)
啟動區(qū)域服務器,如下所示。
$./bin/./local-regionservers.sh start 3
可以使用以下命令啟動HBase shell
$cd bin $./hbase shell
這會給出HBase shell 的提示符,如下圖所示。
2014-12-09 14:24:27,526 INFO [main] Configuration.deprecation: hadoop.native.lib is deprecated. Instead, use io.native.lib.available HBase Shell; enter 'help<RETURN>' for list of supported commands. Type "exit<RETURN>" to leave the HBase Shell Version 0.98.8-hadoop2, r6cfc8d064754251365e070a10a82eb169956d5fe, Fri Nov 14 18:26:29 PST 2014 hbase(main):001:0>
要訪問 HBase 的 Web界面,在瀏覽器中鍵入以下URL
http://localhost:60010
以下界面列出了當前正在運行的區(qū)域服務器,備份主服務以及HBase表。
也可以使用Java庫交互HBase,但訪問HBase使用Java API之前,需要設(shè)置類庫的路徑。
繼續(xù)進行之前編程,在.bashrc文件中設(shè)置類路徑到HBase庫。打開.bashrc文件編輯,如下所示。
$ gedit ~/.bashrc
為HBase庫設(shè)置類路徑(HBase的lib文件夾),如下圖所示。
上一篇:HBase讀取數(shù)據(jù)下一篇:HBase創(chuàng)建數(shù)據(jù)