把Git上Web

想到Git Web，大家第一個想到的就是GitHub，但GitHub放公開的專案是好，無奈私有專案卻是要花錢的，所以肯定很多人會想要自建Git Web。

目前的OpenSource專案來看，GitBuck的界面是最接近GitHub的專案，但是恨不逢君未嫁時，那時候她還沒有出生，所以用了另一個Open Source: Gitblit。

我覺得Gitblit比GitBuck較為封閉，因為Gitblit雖然可以fork，但沒有pull request，比較不利於不同團隊之間的交流。

Gitblit是建置在Java之上，所以要先安裝JVM (7+)，Java環境裝好後，再來是建置WebC Container，最方便的是Tomcat，把下載War檔(1.7.1版)且接丟到 webapp/ 下(丟進去前可將檔名改為git.war)，再把Tomcat上起來，下載的War檔就會自動在 webapp/ 下解開。

開啟瀏覽器，以admin/admin登錄，先改密碼後再把Tomcat停機，再來修改Gitblit的設定。gitblit1.png
Gitblit的檔案結構如下：
gitblit2.png
WEB-INF/data 儲存著包含Gitblit的設定與檔案庫(WEZB-INF/data/git)，通常我們不會想把這麼重要的目錄直接放在WEB程式下，首先
  1. 把 data/對的所有資料拷貝到別處(其中兩個*.pem除外不拷貝)：例如拷貝到 /gitrepo下(data目錄保留對刪除，若刪除則程式就跑不起來)，
  2. 然後開啟web.xml，修改其中資料如下gitblit3.png
設定中的 /gitrepo 就是在Gitblit內${baseFolder}所指稱的路徑。
左圖後的 users.conf就是使用者的設定檔，在Web界面設定皆儲存於此檔案
project.conf 與 git/project.mkd 兩個檔是主要檔案庫的標題與說明，自行修改中文如下：

project.conf
[project "main"]
   title = 主要版本庫
   description = 文件庫的主群組
git/project.mkd
本專案乃是包含以*git.repositoriesFolder*為根目錄下所有建立的版本庫

現在展示的訊息儲存在 *git.repositoriesFolder*/**project.mkd**.

#### 其它專案

在每一個專案或是版本庫群組都可以有其專屬的訊息，只要在專案目錄下建立 **project.mkd**.
例如：
<pre>
<i>git.repositoriesFolder</i>/專案a/<b>project.mkd</b>
<i>git.repositoriesFolder</i>/專案b/<b>project.mkd</b>
</pre>
然後顯示如下：gitblit4.png
Gitblit主要的設定在gitblit.properties檔案，因為其內容只有一行include = defaults.properties，所以真正的設定在defaults.properties，開始說明幾處設定：
#這裡就是Git檔案庫的存放所在地
git.repositoriesFolder = ${baseFolder}/git
#這裡就是Gitblit的用戶設定檔案
realm.userService = ${baseFolder}/users.conf
#這裡設定Gitblit的URL，若不設就會出現像http://localhost/git或是http://192.168.10.xxx/git
web.canonicalUrl=http://git.mydomain.com/git
#這裡必須為true，除非只用ssh://或git://方式存取Gitblit
git.enableGitServlet = true
#是否顯示串連(federation)的鍵值，後面再解釋，如果有多個Gitblit要串連，請設為true
web.showFederationRegistrations = true
#若為空值則不會有串連功能，其值是用來產生Gitblit的識別鍵值之用
federation.passphrase = 非空字串
好吧，啟動Tomcat，開啟瀏覽器，設定使用者，並建立新的版本庫，gitblit6.png
gitblit7.png

Let’s git it.
gitblit5.png

HOOK

Gitblit允許在特定的時間點，執行一些額外的動作，例如當使用者Submit專案後，通知Jenkins進行檔案抓取並進行建置。作法很簡單，只要設定Gitblit在接收專案(使用者Submit)後，執行一段額外的程式(在這個例子，我選擇了jenkins)。
Gitblit的Hook程式放在${baseFolder}/groovy/ 目錄下，開啟jenkins.groovy修改如下：
def jenkinsUrl = gitblit.getString('groovy.jenkinsServer', 'http://jenkins.yourdoman.com.tw')
def triggerUrl = jenkinsUrl + "/buildWithParameters?token=${repository.name}"
程式片段很簡單：就是使用者Sumit後，觸發知Jenkins Server的某個網址(在這例子中${repository.name}會被替代成sd4j.git)，讓知Jenkins知道該去Pull 某些程式來進行建置，上面的修改完後存檔後重啟Web Server
gitblit1.png
再來看看Jenkins的工作設定jenkins.png
上面的Repository URL設為取得程式碼的網址，Credential則是設定登錄Gitblit主機的帳/密，下面勾選遠端觸發建置，也就是之前Hook設定：使用者Submit後通知Jenkins主機，這裡通知的網址可以有兩種型式，我選擇第2種，所以當我的專案Submit到Gitblit主機後，Jenkins主機便按的Repository URL網址把程式碼抓下來建置專案。

串連(Federation)

其實說穿了很簡單，就是把一台Gitblit主機的檔案庫同步到另一台Gitblit主機。我們首要是在設定檔中加入一些相關設定，從官方文件中，它把要被備分的主機稱為Origin，把備分的主機稱為Pulling，首先我們登錄Origin主機(登錄者要有admin的權限)，然後選取串連。
origin1.png
然後可以看到有3種不同的備分方式：
origin2.png
第一種方式是把整機，包含所有版本庫、用戶與機器設定，一股腦全部備分到另一台機器，第二種方式則只是備分所有版本庫與用戶資料，第三種則只有備版本庫而以。當決定好備分方式後，我們按下提案(proposal)，告知另一台主機(Pulling)我們的要求。
origin3.png
提案發出後再登錄到Pulling主機(登錄者一樣要有Admin的權限)後，開啟串連後會看到下面

pulling1.png

點進去後會看到
pulling2.png
把上述紅色的通知文字貼到Pulling主機的設定檔(defaults.properties), 當然貼上去前要做點小修改
#把originkentyehcomtw改成originServer
federation.originServer.url = http://origin.kentyeh.com.tw/git
federation.originServer.token = 0986286c18bd0ea741fe330389014850b04555ca
#10分鐘備分一次，可視需要修改
federation.originServer.frequency = 10 mins
#表示Origin的版本庫會備分到目錄${baseFolder}/git/originServer下，會用目錄區分是因為
#一台#Pulling備分主機可備分來自多台不同的Origin主機的版本庫，若是一對一的備分，
#直接把下面的oringServe移除，則直接備在${baseFolder}/git/目錄下
federation.originServer.folder = originServer
federation.originServer.bare = true
federation.originServer.mirror = true
federation.originServer.sendStatus = true
federation.originServer.notifyOnError = true
#設定只有那些Oring版本庫不會被備分
federation.originServer.exclude =
#設定只有那些Oring版本庫會被備分
federation.originServer.include =
Pulling主機的設定檔完成修改後重啟WEB，再回到串連後可以看到備分狀況(我剛剛還在想會不會有人想要做雙向備分，絕對不要，因為若是兩人在不同主機Sumit，倒底要誰蓋誰？)
pulling3.png

GIT-FLS

Gitblit網頁上有一個filestore，須安先安裝GIT-LFS，目的是在整合版本庫內的大型二進位文件(如影音檔、圖檔…)，因為直接在Git內壓縮這些二進位檔並無效率。
GIT-LFS安裝完成後必須執行一次 $git lfs install(會更改一些全域設定)，只要針對二進位檔作 ＄git lfs trace “*.jar”，然後再add 、commit即可
很可惜，不知道是不是版本的問題，在push時會發生錯誤(應該是golang寫的)，而push時要登錄兩次(網路上有人反應會登錄多次)，我的觀察是第一次是取回Gitblit端的設定然後寫入 .git/config ，然後再上傳資料。
#.git/config相關內容
[lfs "http://kent@origin.kentyeh.com.tw/git/r/sd4j.git/info/lfs"]
   access = basic
可惜，這個功能試不出來

後記

到此，對一般開發組識，應該是夠用了，我覺得Gitblit最重要的功能就是串連了，因為在位何組識，資料復原永遠是件大事，至於GitBuck就沒有同等的功能了。所以Git on Web Gitblit仍是不錯的選擇。

留言

張貼留言

這個網誌中的熱門文章

企業人員的統一管理-FreeIPA學習筆記

圖片
從FreeIPA的 首頁 來看，她想要解決識別、方針(Policy)管理與微軟的AD相互信任的目標。 識別其實是為了能夠做到單一簽入(SSO,Single Sing On)，從另一個角度來看就是人員的統一管理，實際上很難，在Web不盛行的時代，還可透過Kerberos( 解說 )來做到Desktop Single Sing On 或LDAP(UNIX BASE)做到統一帳號管理 ，從而達成所有主機人員權限的統一管理，但Web就不容易了，因為瀏覽器沒有規定一定要支援Kerberos(Firefox除外，Firefox可 支援Kerberos 以 存取FreeIPA的WebUI )，所以要在瀏覽器做到SSO，大概的方式不是透過SAML就是透過OpenID, 好在FreeIPA 支援SAML (透過 IPSILON )與 OpenID (因為我用的開發工具是JAVA，所以開發過OPENID的 範例 ，不要與OAuth搞混了，SSO是從上而下的管理管理眾人，而OAuth是由客戶決定其它站台是否可以存取我的個人資料，是由下而上的管理)。 方針(Policy)管理則是限制用戶什麼可以做，什麼不可以做。主要控制的是Linux系統，像SUDO、Autofs等；至於對Window與AD的整合，老實說因為我不懂AD，所以不知道FreeIPA在這方面可以做什麼？ 所以對我來說，FreeIPA至少是一個提供企業一個統合管理人員識別的好地方(企業內的人員因為多系統而儲存於不同的資料庫，在管理上其實是不太方便)。 FreeIPA同微軟的AD一樣，都是目錄服務提供者，說穿了，目錄服務就是扮演了資料庫的角色，只不過這個資料庫可以在不同機器間複製罷了。FreeIPA跟AD一樣,可以設定管理DNS，我的建議是一定要裝，做為企業內部的DNS，便於內部系統程式使用名稱取代IP。不過需要注意的是：FreeIPA經安裝後會mask掉原本的named service，改用她所提供的named-pkcs11 service，不過她也說了 bla,bla... ，不要用ACL與VIEW。 IPA的術語有三個： Server:FreeIPA的管控主機，第一個建立的也稱master(可建立別台主機為replica) Replica:也是FreeIPA的管控主機，從另一臺master Ser
閱讀完整內容

證交所最佳五檔的程式解析

註： 2018/11/29，發現已經無法一次查詢多個代號，只能迴圈一個一個查。 今天是2017/1/16，一早發現網址又改，原來第3第4點的 getSTKInfo.jsp 改成 getS tock Info.jsp? ，而且也把json亂數表頭的方式移除，已緊急改程式了，請重新 下載程式 ( 程式碼在此 ) 2018/8/23，一早發現必須透過getStockInfo.jsp才是取得Session的地方，所以修改下面第一點 首先我要說明一下現在的日期是 2017年1月，因為 證交所最佳五檔的程式 的規則有時會變動，不見得適用未來的日子。 證交所提供了股票即時 最佳五檔 的網頁，供一般民眾查詢(但我相信，會觀注的多半是碼農，從 最佳五檔 的網址，它主要的Host是 mis.twse.com.tw ，這是我們要注意的第一個點，透過 dig command ，我們可以發現twse.com.tw網域用了4台DNS主機來應付輸詢，這也是我要提的第一個建議： 若不是用瀏覽器執行JavaScript程式  URL直接採用網址IP連結，不要使用mis.twse.com.tw網域，輸詢太多次會卡住，且若每次輸詢結果不一致時，會導致Session遺失 再來針對它的程式設計加以說明： 先說一下，用網頁查詢的網址格式是 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw&stock={代號} ，在瀏覽器下通常 lang=zh_tw 參數會被省略，但是程式設計時，請不要忘了要加上去。這是最重要的一個關鍵，因為我們必須在這頁取得Session(並且要保留)，否則後面的資料存取將無以為繼，所以若是以程式要取得Session的第一件事就是連到 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw 我們取得這個網頁只是為了取得Cookie ，但現在除了這個功能外，還必須取得網頁並分析其中的3個Function：rA1()、rA2()與rA3()，因為後續取得的JSON屬性表頭不再是固定的字串，而是隨機定義在這三個函數內，我們必須透過分析JavaScript以瞭解JSON內容每個項目所代表的意義，取得範例的部分內容說明如下： 在以往，我們取得這個網頁只能為了取得
閱讀完整內容

Postgresql HA

圖片
關於Postgresql HA，建議閱讀 這篇文章 ，摘要如下： Standby databases 主要資料庫的備分，有著與主要資料庫相同的資料，以備意外發生。 以複製方式分類 Physical standbys :硬碟區塊複製 Logical standbys :變動資料串流複製 以transaction同步分類： 異步 :可能會掉資料 同步 :不可能掉資料，master會等待standby複製完成通知 以用途分類 Warm standbys :standby機不提供連線 Hot standbys :standby機提供唯讀查詢連線 叢集 多個主機視為一體，叢集規模可調整，任一節點掛點不影響作業，依資料共用可分類如下： Shared-storage :所有節點共享資料 Shared-nothing :每個節點有自已的儲存，所以不一定會資料相同 然後是我比較關注的免費產品介紹： Ruberep 異步、多master與多平台解決方案，適用於Postgresql與MySQL，奠基於trigger，不支援DDL、User與Grants Pgpool II 是個中介軟體。主要功能如下： Connection pool Replication Load balancing Automatic failover Parallel queries Limiting Exceeding Connections Bucardo 描述功能看起來很強大，但缺點也不少，暫不考慮 PostgresXL 只能用一個awesome形容，PostgressXL屬於企業集架構的大型叢集，前身是 Postgres-XC ，功能強大， 效能卓越 ，但因為採用shared nothing、分散式表格儲存(也就是多筆資料會分別儲存到不同節點，所以她的查詢是採平行處理，速度快，但也就是節點要比較多)，成本相對也不便宜。 這裡有人做了個 Lab 可以參考。 另外Postgres官方也列出了各種HA,Load Balance與複製方式的 比較表 ： 看起來pgpool-II是個不錯的選擇，以下是個合適的架構 pgpoo-II有多種
閱讀完整內容