2013年8月14日 星期三

DataTurbine DT2DB install

前略~ 總之有個介接是要用rbnb接...其實要做之前完全搞不懂這是什麼碗糕XD...

總之~
先到相關的官網找資料吧~__~|||
DataTurbine
http://www.dataturbine.org/

要把資料接進來寫入DB~ 要用另一個套件DT2DB
oss-dataturbine
http://code.google.com/p/oss-dataturbine/
去他們的svn下來就有DT2DB的source...

承辦人有凹了之前有建置過的人來簡單講解~
(總覺得文人阿~ 氣度小的人很多...還好承辦人很認真的想學XD問了好多問題)
 
所需的系統環境:
OS : windows/linux都可以, 兩種都蠻好裝的(開發是win, 測試是centos)...
DB : postgresql, 因為要把資料寫進DB, 就是要有個DB, 記得先create db/table
JAVA: 個人習慣使用sun jdk 1.6...
jython: 一個可以用java執行py的東東...因為DT2DB是用這個寫的
           http://www.jython.org/downloads.html

改code就是改py, xml之類的~ 就各人各憑本事~囧/

原始的source code做了好多print...因為他一下子就寫爆system out...就只好在那邊一直mark..XD

但是啟動的方式google了好久才找到...不知道是太common還是怎樣一u一a

設定startTime.txt為資料同步的開始時間...他會以此開始時間一直抓資料~ 到結束時間(後來依情況需要就改成系統時間...就可以一直抓新的進來)...開始時間的值為Time float...標準的1970開始算~ 不過他是用"s"~不是ms...

其他沒用啥高級的設定與什麼的..先求會動會寫資料就可以了=_=a...

以下就是純安裝運作~~

0. 裝個OS (centOS 6)
    裝個DB (postgresql 9.1)

1. 安裝java
    貌似只要jre就可以的樣子~ 不過因為原本就是java系統 ...裝個jdk是基本的~~

2. 安裝jython   
    使用人家給的是2.2.1版本~ 記得要有GUI才行~ 不能直接ssh解決QQ...
    使用一般user就可以了

   ### install jthon (need GUI/Desktop)
   cd /etc/xxx/rbnb/install
   java -jar jython_installer-2.2.1.jar
   ## use Stander install
   ## install path --> /etc/xxx/jython2.2.1

3. 安裝程式
    其實只要file copy就好了...我把全部都放在同一資料夾(因為檔案不多)~
    file list:
    src/
        configReader$py.class
        configReader.py
        DataGenSrc.py
        DBOperator$py.class
        DBOperator.py                          //parser資料寫DB(組sql的地方)
        postgresql-8.4-701.jdbc4.jar     //db用的jdbc driver
        rbnb.jar
        row_xxx.xml                             //設定檔
        row_xxx_test.xml                     //測試用設定檔
        runRbnb.bat                             //win用執行
        runRbnb.sh                              //linux用執行
        SinkClientHelper.py
        SinkClientManager.py              //讀設定檔/連rbnb...main process
        SinkProxy.java
        SinkTest.py
        startTime.txt                             //資料同步的開始時間...
        __init__.py

   ### upload files to home
   ### tar files
   ### copy to workdir
   cd /etc/xxx/
   mkdir rbnb
   cp ~/rbnb.0814.tgz .
   ### unzip
   tar -xzvf rbnb.0814.tgz  

4. 執行
     ./runRbnb.sh
     ##sh 內容
cd /etc/xxx/rbnb/src
java -Dpython.home=/etc/xxx/jython2.2.1 -classpath ".:/etc/xxx/jython2.2.1/jython.jar:postgresql-8.4-701.jdbc4.jar" org.python.util.jython SinkClientManager.py row_xxx.xml > aa.log

沒有留言: