hadoop 問題排除-增加slave

使用版本為hadoop1.2 + JDK1.6 + centOS 6

因為專案取向不同~ 加上各種情況也不同~ 所以備註一些有碰到的問題與排除

增加slave, 我都master/slave使用同一個accout(一般user), 設定比較一致

0. slave 已安裝完hadoop與hadoop相關設定(hadoop conf, 環境變數, 網管/防火牆通, datanode format完成)

1. copy ssh key(on Master host)
   ##ssh localhost without accept key
   #test
   ssh localhost
   #set (h0<master>)
   ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
   cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
   chmod 600 ~/.ssh/authorized_keys
   scp -r ~/.ssh localhost:~/
   #master host add slave key
   ssh-copy-id -i /home/forest/.ssh/id_dsa account@slave1

2.  ssh slave1
     若有正常設定成功~ ssh過去應該不會叫你輸pwd了~

3.單獨啟動node運作
    cd hadoop工作資料夾
   #啟用data node, job
   bin/hadoop-daemon.sh --config ./conf start datanode
   bin/hadoop-daemon.sh --config ./conf start tasktracker

4. 看看log, slave有沒有怪怪的...

5. 回到master確認掛載情況, 因為這案很可憐,
    沒有GUI(網管很嚴QQ)...都用cmd指令在看Orz...
    bin/hadoop dfsadmin -report

6. 若slave啟動有問題~或要下下來~在slave使用指令
     bin/hadoop-daemon.sh --config ./conf stop datanode
     bin/hadoop-daemon.sh --config ./conf stop tasktracker