close

Hadoop安裝教學:單機/偽分散式配置(一) Hadoop2.7.2/Ubuntu16.04 LTS

 

經過前面幾篇的基本教學後,我們正式要進入到Hadoop的安裝教學,Hadoop安裝儘管很簡單,但由於初學者對 Linux 環境的不熟悉,往往阻礙了初學者的學習大門,導致初學者信心嚴重受到打擊,而放棄了學習熱誠。這邊大寶老師將會一步步地教您如何順利的安裝Hadoop,先以基本的單機版/偽分散式配置為主,比較適合新手學習,更在有些時候需要Hadoop的環境來測試,但不需要做到完整分布式安裝,就可以達到效果。廢話不多說,就讓我們一起來學習吧!

 

系統環境

 

本教學使用的作業系統環境為Ubuntu16.04 LTS 64位元,安裝方式可參考,之前大寶老師所撰寫的文章。Hadoop 採用的版本是Hadoop2.7.2比較穩定的版本。

 

如何在VirtualBox 5.0.20上安裝Ubuntu16.04 LTS

http://ppt.cc/nOt4c

 

前置作業

 

1. 安裝Java環境:

網路上很多文章有寫到要安裝JREJDK但其實JDKJava Development KitJava軟體開發套件)已經包含了 JRE與開發 Java 程式所需的工具和類庫,所以這裡主要安裝Oracle Java JDK8,不需要再額外安裝JRE。安裝方式可參考,之前大寶老師所撰寫的文章。

 

Ubuntu16.04 LTS 如何安裝Oracle Java JDK8

http://ppt.cc/u0Yjw

 

2. 新增hadoop帳號:

如果你當初安裝 Ubuntu時,不是使用“hadoop”為使用者帳號的話,那麼就需要增加一個hadoop 的使用者帳戶。

 

 

a. 請您快捷鍵:Ctrl+Alt+T ,開啟終端機(Terminal視窗。

b. 輸入指令創建新的帳戶,這同時也是登入hadoop的帳戶,並使用 /bin/bash 作為 shell

 

sudo useradd -m hadoop -s /bin/bash

 

c. 輸入【您預設的作業系統密碼】,按下【Enter鍵】確認。

d. 利用指令設置hadoop密碼,輸入完畢後,按下【Enter鍵】確認。

e. 為了方便這裡使用的密碼為hadoop,輸入完畢後,按下【Enter鍵】確認。

f. 再輸入一次密碼,輸入完畢後,按下【Enter鍵】確認。

g. 完成後,會出現密碼成功變更的訊息。

h. hadoop 帳號增加管理員權限,方便之後部署,輸入完畢後,按下【Enter鍵】確認。

 

sudo adduser hadoop sudo

 

i. 完成後,會出現權限成功變更的訊息。

j. 點擊螢幕右上角的【電源鍵】。(就是長得像齒輪的那一個)

k. 選擇【登出】。

l. 再一次選擇【登出】。

m. 在登陸介面選擇剛新增的 hadoop帳戶進行登入,並輸入剛預設的密碼【hadoop】。

3. 更新進階套件工具(Advanced Packaging Tools,簡稱APT):

hadoop 帳戶登入後,請先先更新一下進階套件工具(APT)因為後續我們會使用 APT 安裝相關軟體,如沒更新可能會有些狀況,例如:軟體安裝失敗..等。按 ctrl+alt+t 打開終端視窗,執行如下命令:

a. 請您快捷鍵:Ctrl+Alt+T ,開啟終端機(Terminal視窗。

b. 輸入APT更新指令,輸入完畢後,按下【Enter鍵】確認。

 

sudo apt-get update

 

c. 輸入【hadoop 帳號的密碼】,按下【Enter鍵】確認。

d. 完成後會出現,更新完成訊息。

 

4. 安裝SSH

不管集群或單節點模式都需要用到 SSH 登入,功能類似於遠端登入,可登入特定的Linux主機,並在上面運行指令,在Ubuntu作業系統中,已經預設安裝了 SSH client,因此只需要在安裝 SSH server就可以了。

 

a. 輸入指令,安裝SSH server,輸入完畢後,按下【Enter鍵】確認。

 

sudo apt-get install openssh-server

b. 輸入【hadoop 帳號的密碼】,按下【Enter鍵】確認。

c. 輸入【y】,輸入完畢後,按下【Enter鍵】確認。

d. 運行完成後,就完成了SSH server的安裝

e. 啟動SSH服務。

 

sudo /etc/init.d/ssh start

 

 

f. 輸入【hadoop 帳號的密碼】,輸入完畢後,按下【Enter鍵】確認。

g. 完成後出現成功啟動的訊息。

h. 啟動後,可透過指令查詢服務是否正確啟動,輸入指令完畢後,按下【Enter鍵】確認。

 

ps -e |grep ssh

 

 

i. 最後可以得到查詢結果。

 

5. 配置SSH無密碼登入:

a. 因為產生金鑰,需要到指定目錄,故輸入指令進入SSH目錄內。

 

cd ~/.ssh/

 

b. 輸入指令產生金鑰,輸入指令完畢後,按下【Enter鍵】確認。

 

ssh-keygen -t rsa

 

c. 這裡是告知會在/home/hadoop/.ssh下產生金鑰,按下【Enter鍵】確認。

d. 詢問是否要設定密碼,如果不輸入,直接空白,這裡不輸入密碼,直接按【Enter鍵】到下一步。

e. 再次確認,如果有設定密碼就輸入相同的密碼,這裡沒有設定密碼,所以直接按【Enter鍵】到下一步。

f. 完成後,出現金鑰產生成功訊息。

g. 現在加入授權,將金鑰加入到authorized_keys中,輸入指令完畢後,按下【Enter鍵】確認。

 

cat ~/.ssh/id_rsa.pub>> ~/.ssh/authorized_keys

 

 

h. 利用指令登入SSH,確認以後登入是否不用在輸入密碼,輸入指令完畢後,按下【Enter鍵】確認。

 

ssh localhost

 

I. 輸入指令離開,輸入指令完畢後,按下【Enter鍵】確認。

 

exit

 

arrow
arrow
    全站熱搜
    創作者介紹
    創作者 大寶 的頭像
    大寶

    寶堂軒

    大寶 發表在 痞客邦 留言(0) 人氣()