Hadoop HDFS操作

啟動HDFS

首先，格式化配置HDFS文件系統(tǒng)，打開NameNode(HDFS服務器)，然后執(zhí)行以下命令。

$ hadoop namenode -format 

格式化HDFS后，啟動分布式文件系統(tǒng)。以下命令將啟動名稱節(jié)點和數(shù)據(jù)節(jié)點的集群。

$ start-dfs.sh 

HDFS的文件列表

加載服務器信息后，使用'ls' 可以找出文件列表中的目錄，文件狀態(tài)。下面給出的是ls，可以傳遞一個目錄或文件名作為參數(shù)的語法。

$ $HADOOP_HOME/bin/hadoop fs -ls <args>

將數(shù)據(jù)插入到HDFS

假設在本地系統(tǒng)，這是所謂的file.txt文件中的數(shù)據(jù),應當保存在HDFS文件系統(tǒng)。按照下面給出插入在Hadoop的文件系統(tǒng)所需要的文件的步驟。

第1步

必須創(chuàng)建一個輸入目錄。

$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input 

第2步

傳輸并使用本地系統(tǒng)put命令，Hadoop文件系統(tǒng)中存儲的數(shù)據(jù)文件。

$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input 

第3步

可以使用ls命令驗證文件。

$ $HADOOP_HOME/bin/hadoop fs -ls /user/input 

從HDFS中檢索數(shù)據(jù)

假設在HDFS文件名為outfile。下面給出的是一個簡單的演示用于檢索從Hadoop文件系統(tǒng)所需的文件。

第1步

最初，使用cat命令來查看來自HDFS的數(shù)據(jù)。

$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile 

第2步

從HDFS得到文件使用get命令在本地文件系統(tǒng)。

$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/ 

關閉HDFS

可以使用下面的命令關閉HDFS。

$ stop-dfs.sh