鍍金池/ 教程/ 大數(shù)據(jù)/ Hadoop安裝
Hadoop命令參考
Hadoop教程
Hadoop介紹快速入門
Pig & Hive介紹
Hadoop MapReduce
Hadoop安裝
Hadoop環(huán)境安裝設(shè)置
Hadoop HDFS入門
理解 MapReducer
Hadoop多節(jié)點集群
OOZIE 五分鐘入門學習
Flume和Sqoop
Hadoop是什么？
MapReduce計數(shù)器和連接
MapReduce Hadoop程序連接數(shù)據(jù)
Hadoop Streaming
Hadoop HDFS
Hadoop程序入門實踐
MapReduce簡介和入門
Hadoop大數(shù)據(jù)解決方案
Hadoop HDFS操作

Hadoop安裝

本教程是以Ubuntu 系統(tǒng)作為安裝講解環(huán)境，為了減少不必要的麻煩，請您  安裝Ubuntu 并能正常啟動進入系統(tǒng)。同時也必須要 安裝Java。

一、添加 Hadoop 系統(tǒng)用戶組和用戶

使用以下命令在終端中執(zhí)行以下命令來先創(chuàng)建一個用戶組： 
yiibai@ubuntu:~$ sudo addgroup hadoop_
操作結(jié)果如下：


使用以下命令來添加用戶： 
yiibai@ubuntu:~$ sudo adduser --ingroup hadoop_ hduser_

輸入您的密碼，姓名和其他詳細信息。

二、配置SSH

為了在集群管理節(jié)點，Hadoop需要SSH訪問

首先，切換用戶，輸入以下命令：

yiibai@ubuntu:~$ su hduser_

以下這個命令將創(chuàng)建一個新的密鑰。 
hduser_@ubuntu:~$ ssh-keygen -t rsa -P ""

使用此密鑰啟用SSH訪問本地計算機。

hduser_@ubuntu:~$ cat /home/hduser_/.ssd/id_rsa.pub >> /home/hduser_/.ssh/authorized_keys

現(xiàn)在，測試SSH設(shè)置通過“hduser”用戶連接到locahost。

hduser_@ubuntu:~$ ssh localhost

注意：

請注意，執(zhí)行  'ssh localhost' 命令后如果看到下面的錯誤響應(yīng),  可能 SSH 在此系統(tǒng)不可用。

來解決上面這個問題，安裝 SSH 服務(wù) -

清除 SSH 使用以下命令：

hduser_@ubuntu:~$ sudo apt-get purge openssh-server

在安裝開始前清除 SSH 服務(wù)，這是一個很好的做法(建議)，如果遇到“

is not in the sudoers file ...“提示，請使用有sudo 的用戶來執(zhí)行，
這里使用的用戶是：yiibai

使用以下命令來安裝SSH，使用以下命令： 
yiibai@ubuntu:~$ sudo apt-get install openssh-server

 

三、下載Hadoop

在瀏覽器中打開網(wǎng)址：http://hadoop.apache.org/releases.html

選擇一個最新 2.7.1 的穩(wěn)定版本(stable)的二進制包下載，如下：

下載完成后，默認將文件放在 /home/yiibai/Downloads，如下圖所示：

現(xiàn)在進入到到包含tar文件的目錄，準備解壓 tar.gz 文件： 
yiibai@ubuntu:~$ cd /home/yiibai/Downloads
使用以下命令解壓文件包：  
yiibai@ubuntu:~$ sudo tar xzf hadoop-2.7.1.tar.gz
現(xiàn)在重命名 hadoop-2.2.0 為 hadoop 
yiibai@ubuntu:~$ sudo mv hadoop-2.7.1 /usr/local/hadoop
更改文件用戶屬性，執(zhí)行以下命令： 
yiibai@ubuntu:~$ cd /usr/local
yiibai@ubuntu:~$ sudo chown -R hduser_:hadoop_ hadoop
到這里，hadoop文件的相關(guān)工作已經(jīng)準備好，接下來我們還要做一些關(guān)鍵的設(shè)置。

 

四、修改  ~/.bashrc 文件

添加以下這些行到 ~/.bashrc 文件的末尾，內(nèi)容如下所示：

1
2
3
4
5
6
#Set HADOOP_HOME
export HADOOP_HOME=/usr/local/hadoop
#Set JAVA_HOME
export JAVA_HOME=/usr/local/jdk1.8.0_60
# Add bin/ directory of Hadoop to PATH
export PATH=$PATH:$HADOOP_HOME/bin

在終端下執(zhí)行以下命令，打開編輯器并將上面的內(nèi)容加入到文件的底部，如下圖所示：

yiibai@ubuntu:~$ vi ~/.bashrc

現(xiàn)在，使用下面的命令環(huán)境配置

yiibai@ubuntu:~$ . ~/.bashrc

 

五、配置關(guān)聯(lián)HDFS

設(shè)置 JAVA_HOME 在文件 /usr/local/hadoop/etc/hadoop/hadoop-env.sh 中，使用以下行代替，即寫上完整的 Java 安裝路徑。如下所示：

在 $HADOOP_HOME/etc/hadoop/core-site.xml 文件中還有兩個參數(shù)需要設(shè)置：

1. 'hadoop.tmp.dir' - 用于指定目錄讓 Hadoop 來存儲其數(shù)據(jù)文件。

2. 'fs.default.name' - 指定默認的文件系統(tǒng)

為了設(shè)置兩個參數(shù)，打開文件 core-site.xml

yiibai@ubuntu:~$ sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
拷貝以下所有行的內(nèi)容放入到標簽 <configuration></configuration> 中間。
1
2
3
4
5
6
7
8
9
10
<property>
    <name>hadoop.tmp.dir</name>
    <value>/app/hadoop/tmp</value>
    <description>Parent directory for other temporary directories.</description>
</property>
<property>
    <name>fs.defaultFS </name>
    <value>hdfs://localhost:54310</value>
    <description>The name of the default file system. </description>
</property>
結(jié)果如下圖所示：

進入到目錄：/usr/local/hadoop/etc/hadoop，使用如下的命令： 
yiibai@ubuntu:~$ cd /usr/local/hadoop/etc/hadoop
yiibai@ubuntu:/usr/local/hadoop/etc/hadoop$

現(xiàn)在創(chuàng)建一個目錄，如上面配置 core-site.xml 中使用的目錄：/app/hadoop/tmp

yiibai@ubuntu:/usr/local/hadoop/etc/hadoop$ sudo mkdir -p /app/hadoop/tmp

授予權(quán)限目錄 /app/hadoop/tmp，執(zhí)行如下的命令：

yiibai@ubuntu:~$ sudo chown -R hduser_:hadoop_  /app/hadoop/tmp
yiibai@ubuntu:~$ sudo chmod 750 /app/hadoop/tmp

 

六、Map Reduce 配置
 
在設(shè)置這個配置之前， 我們需要設(shè)置 HADOOP_HOME 的路徑，執(zhí)行以下命令： 
yiibai@ubuntu:~$ sudo gedit /etc/profile.d/hadoop.sh

然后輸入以下一行，

export HADOOP_HOME=/usr/local/hadoop

再執(zhí)行以下命令：

yiibai@ubuntu:~$ sudo chmod +x /etc/profile.d/hadoop.sh
退出命令行終端再次進入，并輸入以下命令：echo $HADOOP_HOME 以驗證 hadoop 的路徑： 
yiibai@ubuntu:~$ echo $HADOOP_HOME
/usr/local/hadoop

現(xiàn)在復(fù)制文件，執(zhí)行以下命令：

yiibai@ubuntu:~$ sudo cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

 

使用vi 打開文件 mapred-site.xml  
yiibai@ubuntu:~$ sudo vi $HADOOP_HOME/etc/hadoop/mapred-site.xml

 

添加以下的設(shè)置內(nèi)容到標簽<configuration> 和 </configuration> 中，如下圖所示：
1
2
3
4
5
6
<property>
    <name>mapreduce.jobtracker.address</name>
    <value>localhost:54311</value>
    <description>MapReduce job tracker runs at this host and port.
    </description>
</property>

打開 $HADOOP_HOME/etc/hadoop/hdfs-site.xml 文件如下： 
yiibai@ubuntu:~$ sudo vi $HADOOP_HOME/etc/hadoop/hdfs-site.xml

添加以下的設(shè)置內(nèi)容到標簽<configuration> 和 </configuration> 中，如下圖所示：

<track id="x8ram"><tbody id="x8ram"></tbody></track>
1
2
3
4
5
6
7
8
9

感谢您访问我们的网站，您可能还对以下资源感兴趣：

嫩草研究院

    • <tt id="x8ram"><blockquote id="x8ram"></blockquote></tt>
    <tt id="x8ram"></tt>