組 員 :4010D029 林 子 皓 4010D107 陳 郁 明 4010D016 陳 銘 鴻 4010D087 陳 書 玄
Hadoop安裝
電腦工作分配圖
主機名 角色 IP
d029 Master 192.168.1.1
d107 Slave 192.168.1.2
安裝前的準備
安裝 jdk,由於 hadoop不支援 6的版本所以必須安裝 7以上的 jdk才行
安裝 ssh與 server
建立 ssh連線
建立連線的公鑰與私鑰,並將公鑰傳給 slave
完成後不用輸入密碼就可連線
設定 JAVA路徑
接著需要設定 JAVA的路徑,不然 HADOOP無法執行,我們必須到 hadoop-env.sh這個檔案來修改
設定相關檔案
設定 core-site.xml、 hdfs-site.xml、 mapred-site.xml檔
core-site.xml
設定相關檔案
hdfs-site.xml
設定相關檔案
設定需先開啟 mapred-site.xml.template檔,並打入圖中文字最後在修改黨名為 mapred-site.xml。
新增 Slave
我們必須到 slaves這個檔案去新增 slave
將Hadoop目錄複製給 slave並格式化
將 d029電腦上的 Hadoop目錄複製給 d107電腦
將 HDFS格式化
將Hadoop目錄複製給 slave並格式化
啟動 hadoop
最後一個步驟就是啟動 hadoop即可開始使用,由版本 2開始以來, start-all.sh從原本的 bin改為放在 sbin,預設 sbin為超級使用者才可使用。
Top Related