以Hazelcast + Spring Session建立Cluster Web

Hazelcast 就像她首頁講的：分散式計算的記憶體網格，簡單來說就是把資料分散放在各個伺服器的記憶體中；像Hazelcast類似的架構還有像Redis、memcached、Infinispan…(網路上也可以找到很多的比較)，那為什麼我選Hazelcast呢?很簡單，因為像Redis可以在伺服器單獨建置而無須Java，而Hazelcast則是採用Java開發，所以程式在單元測試開始時可以一併建置Hazelcast，而無須確認記憶體網格伺服器啟動後後再來進行測試，而且因為可隨程式一起建置，更方便開發者在不同的環境內進行測試(比如您下載我的程式，就可以直接執行了，除了Java環境外不須要再建置任何系統)。另外，Hazelcast有Atomic與Transaction的機制，可適用於開發一些特殊的系統，例如：搶票系統(Hazelcast支援AWS)。
由於記憶體網格的特性，所以Java Web程式有機會在不同的電腦中複製Session資料，從而實質上達到 Cluster Web。
以前要用Java 建立Cluster Web無疑是煩瑣與費用高昂，而現今仍然也是需要一些成本(近來像Nginx這種反向代理伺服器可以用Sticky的方式建立叢集,也就是把用戶各自分配到不同的機器，然後從此用戶就黏著到特定的機器，當然，除非您自己結合nginx-sticky-module來編譯Nginx，否則也是要花錢買她的商業版本才有提供，而社群版只提供Round Robin的方式將來自用戶的存取分配到各伺服器，但這樣就沒法Keep Session了)；Hazelcast的商業版本目前有提供Tomcat Cluster，而Redis目前也只提供Tomcat7的solution，那麼其它的 Web Server咋辦呢(JBoss有，但設定煩瑣)？所以Spring Session實做了各種不同Cluster儲存機制的Session Cluster，最棒的是我們根本不用改變我們的程式寫法，因為當我們使用Session.setAttribute()時，Spring Session在背後已經將資料寫入到Cluster Memories了。
後面我要來實做Web Cluster，前提是在開發編譯要先有Maven的環境(不熟的話，請先參考這裡)， 而發佈環境則要有3台機器，其中兩台做為Java Web Server，而另一台要安裝Nginx做為反向代理伺服器。
首先我們要在開發環境中建立我們的Java程式，請先執行以下指令建立專案
$mvn archetype:generate -DarchetypeGroupId=com.github.kentyeh -DarchetypeArtifactId=springJdbiArch -DarchetypeVersion=2.5.1
Define value for property 'groupId'(程式群組): :idv.kent
Define value for property 'artifactId'(專案名稱): : ttxxx
Define value for property 'version'(自訂版本):  1.0-SNAPSHOT: :
Define value for property 'package': idv.kent: :
[INFO] Using property: CLUSTER_MEMBERS(Cluster成員) = 127.0.0.1
[INFO] Using property: DomainName = CN=localhost, OU=MIS, O=Spring Software Dev Co., L=Kaohsiung, ST=Taiwan, C=TW
[INFO] Using property: HTTP_PORT = 8080
[INFO] Using property: JndiDataSourceName = jdbc/JNDIDS
[INFO] Using property: SSL_PORT = 8443
Confirm properties configuration:
groupId: idv.kent
artifactId: ttxxx
version: 1.0-SNAPSHOT
package: kent.idv
CLUSTER_MEMBERS: 127.0.0.1
DomainName: CN=localhost, OU=MIS, O=Spring Software Dev Co., L=Kaohsiung, ST=Taiwan, C=TW
HTTP_PORT: 8080
JndiDataSourceName: jdbc/JNDIDS
SSL_PORT: 8443
Y: :
由上面的操作，我們建立了一個簡單的Java Web程式，當然，上述的設定針對程式只在一部伺服器執行是足夠了，但之前我說過，我們準了兩部機器要來實做叢集，假設兩台機器的IP分別是192.168.10.74與192.168.10.78，所以我首先要針對這點進行設定，首先開啟檔案 ttxxx/src/main/resources/applicationContext-hazelcast.xml
<?xml version="1.0" encoding="UTF-8"?>
<beans ..
…
       <hz:members>192.168.10.74,192.168.10.78</hz:members>
</beans>
上述的成員設定我是用逗點(,)分隔，當然也可以用 192.168.10.74-78 指定一連串的機器做為Cluster Members。
在檔案 ttxxx/pom.xml 內我預設了 http 使用 8080 port，https 使用了 8443 port，若您要指定 80 與 443 port，請自行修改。
為了方便測試，請用以下指令建立可執 行 War 檔
$mvn -Prunwar package
…
[INFO] Building war: ./ttxxx/target/ttxxx.war
[INFO] ------------------------------------------------------------------------
[INFO] BUILD SUCCESS
[INFO] ------------------------------------------------------------------------
完成後將 ttxxx.war 拷貝到 192.168.10.74 與 192.168.10.78 兩台電腦並執行以下指令啟動Web程式
$java -jar ttxxx.war
請注意：防火牆請開放 8080(http)、8443(ssl)與5701(Hazelcast通訊)三個埠號。
再來我們在第三部機器上(也就是本機localhost)建置Nginx。因為上述的程式在登錄時會轉用SSL進行登錄，所以程式編譯的同時也產生了臨時憑證，憑證檔案在 ttxxx/target/ttxxx/WEB-INF/ssl.keystore，要先轉換才能用在 Nginx上，請到WEB-INF下執行以下轉換(其中的localhost是我們要的Domain Name)
$keytool -importkeystore -srckeystore ssl.keystore -destkeystore localhost.p12 -srcstoretype JKS -deststoretype PKCS12 -srcstorepass password -deststorepass newpassword -srcalias tomcat -destalias localhost -srckeypass password -destkeypass newpassword -noprompt
$openssl pkcs12 -in localhost.p12 -nodes -nocerts -out localhost.key
Enter Import Password:newpassword
MAC verified OK
$openssl pkcs12 -in localhost.p12 -nodes -nokeys -clcerts -out localhost.cer
Enter Import Password:newpassword
MAC verified OK
然後將產生的localhost.cer與localhost.key拷貝到 Nginx 設定檔 nginx.conf 的相同目錄中，下以是我在nginx.conf的主要設定部分
http{
 …
 upstream httpGroup {
      server 192.168.10.74:8080 weight=1;
      server 192.168.10.78:8080 weight=1;
   }
   upstream httpsGroup {
      server 192.168.10.74:8443 weight=1;
      server 192.168.10.78:8443 weight=1;
   }
   server {
       listen       80;
       server_name  localhost;
       proxy_set_header Host  $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       location /ttxxx {
          proxy_pass http://httpGroup/ttxxx;
       }
       #因為登錄時會轉向login所以必須將之導向https://
       location /ttxxx/login {
           rewrite ^(.*) https://$host$1 permanent;
       }
   }
   server {
       listen       443 ssl http2 default_server;
       server_name  localhost;

       ssl_certificate      localhost.cer;
       ssl_certificate_key  localhost.key;
       ssl_protocols        SSLv3 TLSv1 TLSv1.1 TLSv1.2;
       ssl_session_cache    shared:SSL:1m;
       ssl_session_timeout  5m;

       ssl_ciphers 'ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-DSS-AES128-GCM-SHA256:kEDH+AESGCM:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA:ECDHE-ECDSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-DSS-AES128-SHA256:DHE-RSA-AES256-SHA256:DHE-DSS-AES256-SHA:DHE-RSA-AES256-SHA:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:AES:DES-CBC3-SHA:!RC4:!aNULL:!eNULL:!MD5:!EXPORT:!EXP:!LOW:!SEED:!CAMELLIA:!IDEA:!PSK:!SRP:!SSLv:!aECDH:!EDH-DSS-DES-CBC3-SHA:!EDH-RSA-DES-CBC3-SHA:!KRB5-DES-CBC3-SHA';
       ssl_prefer_server_ciphers  on;

       proxy_set_header Host  $host;
       proxy_set_header X-Real-IP $remote_addr;
       proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
       location /ttxxx {
           proxy_pass https://httpsGroup/ttxxx;
       }
   }
}
註：上面的設定是Nginx 1.9.5+支持 HTTP/2 的版本設定，若是在Linux環境則 openssl 必須是1.0.2以後的版本，若是之前的版本設定，請參考這裡。
現在可以開啟 http://localhost/ttxxx/ 將後進行一系列操作並觀察192.168.10.74與192.168.10.78兩部機器的 Console ，由於上述nginx.conf將兩台機器的權重設定成一樣，所以兩部機器會輪流處理來自用戶的請求，現在按右上角的我的個人資料按紐，進行登錄後，可以看到登錄者的資料，連續更新畫面數次，用戶請求分別輪流由兩台機器處理，但仍然可看見登錄的用戶資料，所以確定 Session 資料確實有在兩台機器中複製。
Hazelcast的教學，網路上可以找到很多，這裡就不提了，如何將Hazelcast的物件Inject到程式碼中，可以參考 ttxxx/src/main/java/idv/kent/controller/DefaultController.java 的內容，針對 ttxxx/src/main/resources/applicationContext-hazelcast.xml 有幾點想要說明一下：
  1. <hz:spring-aware /> 這行我會建議拿掉，理由是因為衝擊效能，除非您想把一些Spring 環境下的Bean放進Hazelcast中，例如這個Bean 有 implements ApplicationContextAware、InitializingBean或BeanNameAware，或是有Autowired一些外部物件，又或本身某些方法有標記為PostConstruct，因為在Hazelcast的物件會分散到各個機器中，而Spring的環境是沒有必要帶入到Hazelcast裡，所以當Spring Bean物件從Hazelcast裡取出後必須重建這些物件到Spring環境中，所以從範例中不難看出，為什麼她要把像是ApplicationContext、SomeBean標記為transient？為的就是不要將這些環境物件一起被序列化到Hazelcast裡。
  2. <hz:serialization>這個段落我也建議移除，會放進去是因為Spring Session的範例程式放入了這樣的代碼，所以我照章也把ObjectStreamSerializer放了進來，實際上Hazelcast已經序列化做了很精細的規劃，像這樣直接把Object用一個物件來做序列化實在有些粗糙了，除非您的物件有很特殊的序列化規劃，否則還是不要自已操心的好。
  3. 設定檔中的Element屬性有 id 與 name 的意義：如果不使用Spring，Hazelcast取得物件的方式是透過HazelcastInstance.getXXX(name)的方式取得，所以Spring Session實際上是把Session資料放在一個 name=”spring:session:sessions”的Map中，而id則是純粹是為了直接Autowired用。
  4. 最後一個問題是<hz:map>這放在<hz:config>內與放在最外層有何不同？說實在，我並沒有在網路上看到這裡面的說法。以下是我的理解：
    1. Hazelcast可分Server與Client，Server要負責資料互相備援與資料存放等相關設定，而Client只負責連上去用就是了，毋論Server或Client，其類別都是HazelcastInstance，所以不管是Server或是Client，只要那一個先呼叫了HazelcastInstance.getXXX(name)，該物件都會被建立，後面叫用的則取得前次建立的物件參考，即使是clientInstance.getQueue("aQueue");一樣能在Server Cluster建立一個"aQueue"物件。那麼Spring如何所在Client程式的inject這個Queue呢？直接一個最外層的設定<hz:queue id="aQueue" instance-ref="hazelcastInstance" name="aQueue"/>就可以了。
    2. 在<hz:config>內的物件設定，程式透過HazelcastInstance.getXXX(name)呼叫一樣能取得該物件，其好處是可以針對物件作更精細的設定，缺點則是不能直接inject到Spring beans裡，那怎麼辦，物件雖在<hz:config>內建立，但我們只要在最外層加一個同name的參考如<hz:map id="sessionMap" instance-ref="hazelcastInstance" name="spring:session:sessions"/>就可以用來inject到Spring Beans了。

留言

張貼留言

這個網誌中的熱門文章

企業人員的統一管理-FreeIPA學習筆記

圖片
從FreeIPA的 首頁 來看，她想要解決識別、方針(Policy)管理與微軟的AD相互信任的目標。 識別其實是為了能夠做到單一簽入(SSO,Single Sing On)，從另一個角度來看就是人員的統一管理，實際上很難，在Web不盛行的時代，還可透過Kerberos( 解說 )來做到Desktop Single Sing On 或LDAP(UNIX BASE)做到統一帳號管理 ，從而達成所有主機人員權限的統一管理，但Web就不容易了，因為瀏覽器沒有規定一定要支援Kerberos(Firefox除外，Firefox可 支援Kerberos 以 存取FreeIPA的WebUI )，所以要在瀏覽器做到SSO，大概的方式不是透過SAML就是透過OpenID, 好在FreeIPA 支援SAML (透過 IPSILON )與 OpenID (因為我用的開發工具是JAVA，所以開發過OPENID的 範例 ，不要與OAuth搞混了，SSO是從上而下的管理管理眾人，而OAuth是由客戶決定其它站台是否可以存取我的個人資料，是由下而上的管理)。 方針(Policy)管理則是限制用戶什麼可以做，什麼不可以做。主要控制的是Linux系統，像SUDO、Autofs等；至於對Window與AD的整合，老實說因為我不懂AD，所以不知道FreeIPA在這方面可以做什麼？ 所以對我來說，FreeIPA至少是一個提供企業一個統合管理人員識別的好地方(企業內的人員因為多系統而儲存於不同的資料庫，在管理上其實是不太方便)。 FreeIPA同微軟的AD一樣，都是目錄服務提供者，說穿了，目錄服務就是扮演了資料庫的角色，只不過這個資料庫可以在不同機器間複製罷了。FreeIPA跟AD一樣,可以設定管理DNS，我的建議是一定要裝，做為企業內部的DNS，便於內部系統程式使用名稱取代IP。不過需要注意的是：FreeIPA經安裝後會mask掉原本的named service，改用她所提供的named-pkcs11 service，不過她也說了 bla,bla... ，不要用ACL與VIEW。 IPA的術語有三個： Server:FreeIPA的管控主機，第一個建立的也稱master(可建立別台主機為replica) Replica:也是FreeIPA的管控主機，從另一臺master Ser...
閱讀完整內容

Postgresql HA

圖片
關於Postgresql HA，建議閱讀 這篇文章 ，摘要如下： Standby databases 主要資料庫的備分，有著與主要資料庫相同的資料，以備意外發生。 以複製方式分類 Physical standbys :硬碟區塊複製 Logical standbys :變動資料串流複製 以transaction同步分類： 異步 :可能會掉資料 同步 :不可能掉資料，master會等待standby複製完成通知 以用途分類 Warm standbys :standby機不提供連線 Hot standbys :standby機提供唯讀查詢連線 叢集 多個主機視為一體，叢集規模可調整，任一節點掛點不影響作業，依資料共用可分類如下： Shared-storage :所有節點共享資料 Shared-nothing :每個節點有自已的儲存，所以不一定會資料相同 然後是我比較關注的免費產品介紹： Ruberep 異步、多master與多平台解決方案，適用於Postgresql與MySQL，奠基於trigger，不支援DDL、User與Grants Pgpool II 是個中介軟體。主要功能如下： Connection pool Replication Load balancing Automatic failover Parallel queries Limiting Exceeding Connections Bucardo 描述功能看起來很強大，但缺點也不少，暫不考慮 PostgresXL 只能用一個awesome形容，PostgressXL屬於企業集架構的大型叢集，前身是 Postgres-XC ，功能強大， 效能卓越 ，但因為採用shared nothing、分散式表格儲存(也就是多筆資料會分別儲存到不同節點，所以她的查詢是採平行處理，速度快，但也就是節點要比較多)，成本相對也不便宜。 這裡有人做了個 Lab 可以參考。 另外Postgres官方也列出了各種HA,Load Balance與複製方式的 比較表 ： 看起來pgpool-II是個不錯的選擇，以下是個合適的架構 pgpoo-II有多種 ...
閱讀完整內容

證交所最佳五檔的程式解析

註： 2018/11/29，發現已經無法一次查詢多個代號，只能迴圈一個一個查。 今天是2017/1/16，一早發現網址又改，原來第3第4點的 getSTKInfo.jsp 改成 getS tock Info.jsp? ，而且也把json亂數表頭的方式移除，已緊急改程式了，請重新 下載程式 ( 程式碼在此 ) 2018/8/23，一早發現必須透過getStockInfo.jsp才是取得Session的地方，所以修改下面第一點 首先我要說明一下現在的日期是 2017年1月，因為 證交所最佳五檔的程式 的規則有時會變動，不見得適用未來的日子。 證交所提供了股票即時 最佳五檔 的網頁，供一般民眾查詢(但我相信，會觀注的多半是碼農，從 最佳五檔 的網址，它主要的Host是 mis.twse.com.tw ，這是我們要注意的第一個點，透過 dig command ，我們可以發現twse.com.tw網域用了4台DNS主機來應付輸詢，這也是我要提的第一個建議： 若不是用瀏覽器執行JavaScript程式  URL直接採用網址IP連結，不要使用mis.twse.com.tw網域，輸詢太多次會卡住，且若每次輸詢結果不一致時，會導致Session遺失 再來針對它的程式設計加以說明： 先說一下，用網頁查詢的網址格式是 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw&stock={代號} ，在瀏覽器下通常 lang=zh_tw 參數會被省略，但是程式設計時，請不要忘了要加上去。這是最重要的一個關鍵，因為我們必須在這頁取得Session(並且要保留)，否則後面的資料存取將無以為繼，所以若是以程式要取得Session的第一件事就是連到 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw 我們取得這個網頁只是為了取得Cookie ，但現在除了這個功能外，還必須取得網頁並分析其中的3個Function：rA1()、rA2()與rA3()，因為後續取得的JSON屬性表頭不再是固定的字串，而是隨機定義在這三個函數內，我們必須透過分析JavaScript以瞭解JSON內容每個項目所代表的意義，取得範例的部分內容說明如下： 在以往，我們取得這個網頁只能...
閱讀完整內容