OpenShift 走一遭



    想要把範例程式公開到網路上，有用到資料庫，想說Google的AppEngine有點麻煩，找了一下，於是決定放到OpenShift，並記錄一下過程。

    既然是範例程式，當然有必要準備一些先期工作 ，例如：安裝好Java環境、Git與Maven。

    首先，當然是到OpenShift先註冊一個帳號
、

好了，現在去收信並啟用帳號

完成後直接登錄 App Console後，然後我們要建立第一個專案。

選擇建立Tomcat 專案

填入資料，下圖中的Source Code不用填，除非已經有了源碼，要從外部匯入專案
專案建立完成，然後選擇我們要用的資料庫(在此我選擇了PostgreSQL 9.2)
Cartridge:卡匣，想成模版就可以了
 完成後
現在開始要在電腦端安裝rhc工具
以fedora來說，執行
$sudo yum install rubygem-rhc
剩下的步驟造官方操作這裡作即可


$ rhc setup
OpenShift Client Tools (RHC) Setup Wizard

This wizard will help you upload your SSH keys, set your application namespace, and check that other programs like Git are
properly installed.

If you have your own OpenShift server, you can specify it now. Just hit enter to use the server for OpenShift Online:
openshift.redhat.com.
Enter the server hostname: |openshift.redhat.com|

You can add more servers later using 'rhc server'.

Login to openshift.redhat.com: kent@somewhere.com.tw
Password: ********

OpenShift can create and store a token on disk which allows to you to access the server without using your password. The key
is stored in your home directory and should be kept secret.  You can delete the key at any time by running 'rhc logout'.
Generate a token now? (yes|no) yes
Generating an authorization token for this client ... lasts about 1 month

Saving configuration to /root/.openshift/express.conf ... done

No SSH keys were found. We will generate a pair of keys for you.

    Created: /root/.ssh/id_rsa.pub

Your public SSH key must be uploaded to the OpenShift server to access code.  Upload now? (yes|no) yes

Since you do not have any keys associated with your OpenShift account, your new key will be uploaded as the 'default' key.

Uploading key 'default' ... done

Checking for git ... found git version 2.1.0

Checking common problems .. done

Checking for a domain ... yes2000

Checking for applications ... found 1

 helloworld http://helloworld-yes2000.rhcloud.com/

 You are using 1 of 3 total gears
 The following gear sizes are available to you: small

Your client tools are now configured.
註：$rhc setup，完成後即記住用戶資訊，若是太久沒有動作(或是下次開機)，則會視為離線，則只要再執行一次rhc setup，即可回覆連線，若要換人，則執行 $rhc logout再以＄rhc setup -l kent@anotherplace.com.tw進行設定即可。
現在我們可以看一下現有應用程式(專案)資訊
$ rhc apps
helloworld @ http://helloworld-yes2000.rhcloud.com/ (uuid: 55979949e0b8cd2068000069)
------------------------------------------------------------------------------------
 Domain:     yes2000
 Created:    4:28 PM
 Gears:      1 (defaults to small)
 Git URL:  ssh://55979949e0b8cd2068000069@helloworld-yes2000.rhcloud.com/~/git/helloworld.git/
 SSH:        55979949e0b8cd2068000069@helloworld-yes2000.rhcloud.com
 Deployment: auto (on git push)

 jbossews-2.0 (Tomcat 7 (JBoss EWS 2.0))
 ---------------------------------------
    Gears: Located with postgresql-9.2

 postgresql-9.2 (PostgreSQL 9.2)
 -------------------------------
    Gears:          Located with jbossews-2.0
    Connection URL: postgresql://$OPENSHIFT_POSTGRESQL_DB_HOST:$OPENSHIFT_POSTGRESQL_DB_PORT
    Database Name:  helloworld
    Password:       NwSiUqHDxxxj
    Username:       adminxcxxxxg
接下來我們把整個專案抓到我們的電腦
$git clone ssh://55979949e0b8cd2068000069@helloworld-yes2000.rhcloud.com/~/git/helloworld.git/
$cd helloworld
專案目錄結構如下：
跟一般maven web application相仿，
index.html與snoop.jsp可視需要決定是否保留，
其中snoop.jsp可顯示系統狀態資訊，
若是專案要以war發佈，
直接將war檔放到webapps目錄下即可。
其中pom.xml有一段特別重要
...
 <profile>
       <!-- 當在OpenShift主機端建構時，會使用'openshift' profile 做為mvn的設定. -->
       <!-- 添加必要的設定到該profile，以便主機端可照您的需求建構程式 -->
       <!-- 預設的建構輸出路徑為'webapps' 目錄. -->
       <!-- http://maven.apache.org/guides/mini/guide-building-for-different-environments.html -->
       <id>openshift</id>
       <properties><!-- 主機端建構時不想引發測試程式. -->
               <maven.test.skip>true</maven.test.skip>
       </properties>
       <build>
           <finalName>${project.artifactId}</finalName>
           <plugins>
               <plugin>
                   <artifactId>maven-war-plugin</artifactId>
                   <version>2.1.1</version>
                   <configuration>
                       <outputDirectory>webapps</outputDirectory>
                       <warName>ROOT</warName>
                   </configuration>
               </plugin>
           </plugins>
       </build>
   </profile>
...

連結資料庫
我們沒有辦法直接連接openshift的資料庫，必須透過port-forward的方式來連接
$ rhc port-forward -a helloworld
Checking available ports ... done
Forwarding ports ...
Address already in use(位址已被佔用) - bind(2) while forwarding port 5432. Trying local port 5433

To connect to a service running on OpenShift, use the Local address

Service    Local               OpenShift
---------- -------------- ---- ------------------
java       127.0.0.1:8080  =>  127.7.185.129:8080
postgresql 127.0.0.1:5433  =>  127.7.185.130:5432

Press CTRL-C to terminate port forwarding
是的，此時只要以資料庫連結本機的 5433 port，就可直接操縱資料庫了(速度不快)，同時也可以用http://localhost:8080/來開始遠端Web page。

Tomcat的JNDI設定
以下以設定一個 jdbc/hw JNDI 為例
#切換到專案目錄
$cd helloworld
#編輯tomcat 設定
$vi .openshift/config/server.xml
...
<GlobalNamingResources>
 <Resource name="jdbc/hw" auth="Container" type="javax.sql.DataSource"
     username="${env.OPENSHIFT_POSTGRESQL_DB_USERNAME}"
     password="${env.OPENSHIFT_POSTGRESQL_DB_PASSWORD}"
     url="jdbc:postgresql://${env.OPENSHIFT_POSTGRESQL_DB_HOST}:${env.OPENSHIFT_POSTGRESQL_DB_PORT}/${env.OPENSHIFT_APP_NAME}"
     driverClassName="org.postgresql.Driver" initialSize="5" maxWait="5000"
     maxActive="120" maxIdle="5" validationQuery="select 1" poolPreparedStatements="true">
 </Resource>
…
:x
#存檔後再開啟變更以下檔案
$vi .openshift/config/catalina.properties
…
common.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina.home}/lib/*.jar,${catalina.home}/../app-root/data/*.jar
…
:x
#存檔後再設定程式resource link
$mkdir -p ./src/main/webapp/META-INF
$vi ./src/main/webapp/META-INF/context.xml
<?xml version="1.0" encoding="UTF-8"?>
<Context antiJARLocking="true">
   <ResourceLink name="jdbc/hw" type="javax.sql.DataSource" global="jdbc/hw"/>
</Context>
:x
#存檔後再以ssh連線到openshift 主機的專案目錄
$rhc ssh -a helloworld
#切換到資料存放目錄，我們要把jdbc driver放這裡
[helloworld-yes2000.rhcloud.com 55979949e0b8cd2068000069]\>cd $OPENSHIFT_DATA_DIR
#下載jdbc driver函式庫
[hellow-yes2000…. data]\>wget https://jdbc.postgresql.org/download/postgresql-9.4-1201.jdbc41.jar
#離開
[helloworld-yes2000….]\>exit
剩下的事，就是照一般Maven開發Webapp的方式進行程式撰寫，當程式完成後，請進行
$git commit 並將程式 $git push
當程式上傳時，主機端會建構程式並啟用。

之前有寫過一個郵遞區號查詢的程式，這次把放到OpenShift 上面(OpenShift的首頁好像Cache的有點嚴重，若您的程式沒有錯，也沒出現，請用力刷Ctrl+F5，這個問題卡了我好久)，OpenShift 完成後拉下的程式放在這裡，您撰寫的時候可以參考看看。

留言

張貼留言

這個網誌中的熱門文章

企業人員的統一管理-FreeIPA學習筆記

圖片
從FreeIPA的 首頁 來看，她想要解決識別、方針(Policy)管理與微軟的AD相互信任的目標。 識別其實是為了能夠做到單一簽入(SSO,Single Sing On)，從另一個角度來看就是人員的統一管理，實際上很難，在Web不盛行的時代，還可透過Kerberos( 解說 )來做到Desktop Single Sing On 或LDAP(UNIX BASE)做到統一帳號管理 ，從而達成所有主機人員權限的統一管理，但Web就不容易了，因為瀏覽器沒有規定一定要支援Kerberos(Firefox除外，Firefox可 支援Kerberos 以 存取FreeIPA的WebUI )，所以要在瀏覽器做到SSO，大概的方式不是透過SAML就是透過OpenID, 好在FreeIPA 支援SAML (透過 IPSILON )與 OpenID (因為我用的開發工具是JAVA，所以開發過OPENID的 範例 ，不要與OAuth搞混了，SSO是從上而下的管理管理眾人，而OAuth是由客戶決定其它站台是否可以存取我的個人資料，是由下而上的管理)。 方針(Policy)管理則是限制用戶什麼可以做，什麼不可以做。主要控制的是Linux系統，像SUDO、Autofs等；至於對Window與AD的整合，老實說因為我不懂AD，所以不知道FreeIPA在這方面可以做什麼？ 所以對我來說，FreeIPA至少是一個提供企業一個統合管理人員識別的好地方(企業內的人員因為多系統而儲存於不同的資料庫，在管理上其實是不太方便)。 FreeIPA同微軟的AD一樣，都是目錄服務提供者，說穿了，目錄服務就是扮演了資料庫的角色，只不過這個資料庫可以在不同機器間複製罷了。FreeIPA跟AD一樣,可以設定管理DNS，我的建議是一定要裝，做為企業內部的DNS，便於內部系統程式使用名稱取代IP。不過需要注意的是：FreeIPA經安裝後會mask掉原本的named service，改用她所提供的named-pkcs11 service，不過她也說了 bla,bla... ，不要用ACL與VIEW。 IPA的術語有三個： Server:FreeIPA的管控主機，第一個建立的也稱master(可建立別台主機為replica) Replica:也是FreeIPA的管控主機，從另一臺master Ser...
閱讀完整內容

證交所最佳五檔的程式解析

註： 2018/11/29，發現已經無法一次查詢多個代號，只能迴圈一個一個查。 今天是2017/1/16，一早發現網址又改，原來第3第4點的 getSTKInfo.jsp 改成 getS tock Info.jsp? ，而且也把json亂數表頭的方式移除，已緊急改程式了，請重新 下載程式 ( 程式碼在此 ) 2018/8/23，一早發現必須透過getStockInfo.jsp才是取得Session的地方，所以修改下面第一點 首先我要說明一下現在的日期是 2017年1月，因為 證交所最佳五檔的程式 的規則有時會變動，不見得適用未來的日子。 證交所提供了股票即時 最佳五檔 的網頁，供一般民眾查詢(但我相信，會觀注的多半是碼農，從 最佳五檔 的網址，它主要的Host是 mis.twse.com.tw ，這是我們要注意的第一個點，透過 dig command ，我們可以發現twse.com.tw網域用了4台DNS主機來應付輸詢，這也是我要提的第一個建議： 若不是用瀏覽器執行JavaScript程式  URL直接採用網址IP連結，不要使用mis.twse.com.tw網域，輸詢太多次會卡住，且若每次輸詢結果不一致時，會導致Session遺失 再來針對它的程式設計加以說明： 先說一下，用網頁查詢的網址格式是 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw&stock={代號} ，在瀏覽器下通常 lang=zh_tw 參數會被省略，但是程式設計時，請不要忘了要加上去。這是最重要的一個關鍵，因為我們必須在這頁取得Session(並且要保留)，否則後面的資料存取將無以為繼，所以若是以程式要取得Session的第一件事就是連到 http://mis.twse.com.tw/stock/fibest.jsp?lang=zh_tw 我們取得這個網頁只是為了取得Cookie ，但現在除了這個功能外，還必須取得網頁並分析其中的3個Function：rA1()、rA2()與rA3()，因為後續取得的JSON屬性表頭不再是固定的字串，而是隨機定義在這三個函數內，我們必須透過分析JavaScript以瞭解JSON內容每個項目所代表的意義，取得範例的部分內容說明如下： 在以往，我們取得這個網頁只能...
閱讀完整內容

Postgresql HA

圖片
關於Postgresql HA，建議閱讀 這篇文章 ，摘要如下： Standby databases 主要資料庫的備分，有著與主要資料庫相同的資料，以備意外發生。 以複製方式分類 Physical standbys :硬碟區塊複製 Logical standbys :變動資料串流複製 以transaction同步分類： 異步 :可能會掉資料 同步 :不可能掉資料，master會等待standby複製完成通知 以用途分類 Warm standbys :standby機不提供連線 Hot standbys :standby機提供唯讀查詢連線 叢集 多個主機視為一體，叢集規模可調整，任一節點掛點不影響作業，依資料共用可分類如下： Shared-storage :所有節點共享資料 Shared-nothing :每個節點有自已的儲存，所以不一定會資料相同 然後是我比較關注的免費產品介紹： Ruberep 異步、多master與多平台解決方案，適用於Postgresql與MySQL，奠基於trigger，不支援DDL、User與Grants Pgpool II 是個中介軟體。主要功能如下： Connection pool Replication Load balancing Automatic failover Parallel queries Limiting Exceeding Connections Bucardo 描述功能看起來很強大，但缺點也不少，暫不考慮 PostgresXL 只能用一個awesome形容，PostgressXL屬於企業集架構的大型叢集，前身是 Postgres-XC ，功能強大， 效能卓越 ，但因為採用shared nothing、分散式表格儲存(也就是多筆資料會分別儲存到不同節點，所以她的查詢是採平行處理，速度快，但也就是節點要比較多)，成本相對也不便宜。 這裡有人做了個 Lab 可以參考。 另外Postgres官方也列出了各種HA,Load Balance與複製方式的 比較表 ： 看起來pgpool-II是個不錯的選擇，以下是個合適的架構 pgpoo-II有多種 ...
閱讀完整內容