Hadoop安裝 (1)

Post on 15-Aug-2015

150 views 6 download

Transcript of Hadoop安裝 (1)

組 員 :4010D029 林 子 皓 4010D107 陳 郁 明 4010D016 陳 銘 鴻 4010D087 陳 書 玄

Hadoop安裝

電腦工作分配圖

主機名 角色 IP

d029 Master 192.168.1.1

d107 Slave 192.168.1.2

安裝前的準備

安裝 jdk,由於 hadoop不支援 6的版本所以必須安裝 7以上的 jdk才行

安裝 ssh與 server

建立 ssh連線

建立連線的公鑰與私鑰,並將公鑰傳給 slave

完成後不用輸入密碼就可連線

設定 JAVA路徑

接著需要設定 JAVA的路徑,不然 HADOOP無法執行,我們必須到 hadoop-env.sh這個檔案來修改

設定相關檔案

設定 core-site.xml、 hdfs-site.xml、 mapred-site.xml檔

core-site.xml

設定相關檔案

hdfs-site.xml

設定相關檔案

設定需先開啟 mapred-site.xml.template檔,並打入圖中文字最後在修改黨名為 mapred-site.xml。

新增 Slave

我們必須到 slaves這個檔案去新增 slave

將Hadoop目錄複製給 slave並格式化

將 d029電腦上的 Hadoop目錄複製給 d107電腦

將 HDFS格式化

將Hadoop目錄複製給 slave並格式化

啟動 hadoop

最後一個步驟就是啟動 hadoop即可開始使用,由版本 2開始以來, start-all.sh從原本的 bin改為放在 sbin,預設 sbin為超級使用者才可使用。