[Hadoop] 基本環境建立-1

碎碎念後~ 開始筆記正文...
Hadoop基本上是linux平台的專案~ 除了省錢之外~ WIN上的支援討論也太少了~
所以就先選個os來~ 因為我有聽過的很少~ 就選ubuntu...

一開始想裝ubuntu desktop..結果好樣的HyperV就是裝不起來~ 所以最後是裝server version..這對我來說是沒什麼差就是...

server version有個方便的地方~ 預設就可以選裝ssh...另外DB雖然有我要用的postgreSQL~但是後來發現怪怪的~ 所以後來還是用apt-get的比較穩

內建可安裝裡面有個Tomcat...裝起來發現他Folder亂生~ 建議Tomcat若要用還是zip方式安裝會比較好管理~我專案到最後是沒用~

基本環境選擇...
ubuntu server 11.10
SSH Server(內建Option安裝)
PostgreSQL 9.1(apt-get安裝)+PostGis 1.5(apt-get安裝)
Sun JDK 1.6(sun/oracle官網bin檔安裝)
Hadoop 0.20.2
Sqoop 1.4 for Hadoop 0.20.2(sqoop要求SUN JDK, 不吃OpenJDK..不過我就是需要他QQ)
HBase 0.92(sqoop會要求HBASE_PATH, 沒用不過就配合著裝)

使用工具...
pietty --> ssh連線管理..我記得putty好像不能顯示中文~而且還可以貼上文字..反正pietty比較powerful就是了
FileZille Client --> 選用SFTP就可以上傳下載檔案~

應該要會的基本操作(或者說我只會這幾樣=_="還常常要去鳥哥那邊查範例)...
vim  --> 嗯~超級重要的編輯檔案~ vim比vi簡單一點點點喔~
tail  --> 看檔案尾巴的內容~ 看log檔好用~
cat --> 也是看檔案~ 適合小檔小設定顯示..
ls/mkdir/cp/mv/rm... --> 檔案基本操作很基本吧Orz..
tar --> 壓縮解壓縮檔
netstat --> 網路狀態~ ㄜ~ 有時候要看他有沒有跑起來看PORT
ifconfig --> 看自己的網路狀態..IP是多少很重要QQ..
reboot/halt... --> 重開機/關機指令

底下是相關指令與cmd...就平常台式英文加後來再補充的筆記...

[Ubuntu]

Linex Basic Evir(Use ubuntu 11.10 64bit server)
1. Append ISO in DVD
2. Install ubnutu OS Language: 台灣繁體
    //pc name之後還可以改
    set pc name:
    //sudo user/pwd很重要~錯了就沒人能用了XD
    set default user name/pwd:
    //proxy不設定之後去系統改也一樣~
    proxy setting(intranet): http://{proxy ip}:{proxy port}
    //Option安裝~ 要管理記得開ssh~可pietty..FTP一次搞定
    Install Project: OpenSSH
3. Network Setting: ifconfig to get IP
   #DHCP(intranet) 在hyperV下他是有問題的~ 要自己加自動取得DHCP IP(Vmware沒事QQ)加完後重開機才有用~另hosts在hyperV下有問題記得去check有沒有看到奇怪的東西~
   ls /etc/network
   sudo vim interfaces
   #add
       auto eth0
       iface eth0 inet dhcp
   sudo reboot
   vim /etc/hosts   remove .(null)
     127.0.1.1       h0  
4. SSH Host and Test upload Files
5. sudo apt-get update (Wait for install)
   #proxy setting (if b4 fail?)
   sudo gedit /etc/apt/apt.conf.d/02proxy
   Acquire::http::Proxy "http://{ip}:{port}";
   wq!
6. Install JDK6 (Wait for While) (See [Sun JDK 6])
   which java (/usr/lib/jvm/java-6-openjdk/)
7. Install Hadoop (See [Hadoop])
8. Date Time Sync
    //同步時間有兩個原因~ 一是當VM複製後或停止再重起~ 時間不會動~ 所以要對時~ 另外是我覺得那個時間真的過一段時間超不準的QQ~ 要是懶的話就是把他寫成crontab去對吧
    sudo ntpdate time.stdtime.gov.tw
    //看時間的指令印象中好像是
    date