江蘇聯(lián)通NGBSS計(jì)費(fèi)系統(tǒng)中VERITASCFS的應(yīng)用
倪岳龍 崔正鋒 沙甲戊 2009/05/26
本文涉及的解決方案名稱為賽門(mén)鐵克的VeritasStorageFoundation Cluster File
System 5.0，以下簡(jiǎn)稱VERITAS CFS。
江蘇聯(lián)通NGBSS建設(shè)背景
隨著電信市場(chǎng)競(jìng)爭(zhēng)的日益加劇，電信運(yùn)營(yíng)的首要目標(biāo)已經(jīng)從挖掘增量市場(chǎng)的價(jià)值轉(zhuǎn)向挖掘存量市場(chǎng)的價(jià)值。如何保持現(xiàn)有客戶，讓現(xiàn)有客戶使用更多的業(yè)務(wù)，保障現(xiàn)有客戶的價(jià)值，已上升為提高利潤(rùn)及運(yùn)營(yíng)價(jià)值最需探討的問(wèn)題。另一方面，國(guó)際化的市場(chǎng)環(huán)境要求中國(guó)聯(lián)通必須立足國(guó)際，制定國(guó)際化的經(jīng)營(yíng)戰(zhàn)略，在經(jīng)營(yíng)管理上向國(guó)外先進(jìn)的電信運(yùn)營(yíng)企業(yè)看齊，以迎接電信運(yùn)營(yíng)業(yè)的國(guó)際化競(jìng)爭(zhēng)。以上市場(chǎng)環(huán)境對(duì)中國(guó)聯(lián)通的服務(wù)內(nèi)容、服務(wù)方式、服務(wù)質(zhì)量、經(jīng)營(yíng)管理都提出了嚴(yán)峻的挑戰(zhàn)。
在以上背景下，中國(guó)聯(lián)通決定啟動(dòng)新一代BSS系統(tǒng)的建設(shè)，以從根本上解決BSS系統(tǒng)中長(zhǎng)期以來(lái)存在的問(wèn)題，改善中國(guó)聯(lián)通BSS系統(tǒng)的運(yùn)營(yíng)支撐能力，并通過(guò)IT系統(tǒng)來(lái)規(guī)范和固化業(yè)務(wù)流程、管理流程，為用戶提供更好的服務(wù)，從而提高中國(guó)聯(lián)通在日益復(fù)雜的市場(chǎng)環(huán)境中的核心競(jìng)爭(zhēng)力。
江蘇聯(lián)通老計(jì)費(fèi)系統(tǒng)中存在的問(wèn)題
計(jì)費(fèi)系統(tǒng)是聯(lián)通NGBSS的重要組成部分，計(jì)費(fèi)系統(tǒng)的主要功能是對(duì)從交換機(jī)和關(guān)口局采集下來(lái)的原始話單進(jìn)行預(yù)處理、分揀排重、批價(jià)等一些列的處理，最終生成統(tǒng)一的批價(jià)詳單，完成對(duì)用戶的批價(jià)算費(fèi)。
下面圖示表明了典型的計(jì)費(fèi)數(shù)據(jù)流圖:
江蘇聯(lián)通老計(jì)費(fèi)系統(tǒng)中，所有計(jì)費(fèi)應(yīng)用的進(jìn)程都運(yùn)行在同一臺(tái)服務(wù)器上（由于非群集文件系統(tǒng)，文件系統(tǒng)只能掛載在一臺(tái)服務(wù)器上）。為分擔(dān)應(yīng)用，另外增加一臺(tái)服務(wù)器，用于分擔(dān)短信業(yè)務(wù)。兩臺(tái)計(jì)費(fèi)服務(wù)器分別處理語(yǔ)音話單和短信話單，架構(gòu)圖如下:
在實(shí)際運(yùn)行中這種架構(gòu)存在以下結(jié)構(gòu)性問(wèn)題:
1.單點(diǎn)故障。由于兩臺(tái)計(jì)費(fèi)服務(wù)器分別處理語(yǔ)音和短信話單，相應(yīng)部署的計(jì)費(fèi)應(yīng)用程序也不同，造成任何一臺(tái)計(jì)費(fèi)服務(wù)器故障時(shí)，另一臺(tái)服務(wù)器不能接管其全部或部分業(yè)務(wù)。
2.系統(tǒng)瓶頸。因?yàn)樗械牟杉�、預(yù)處理、分揀、排重、批價(jià)進(jìn)程跑在一個(gè)服務(wù)器上，對(duì)服務(wù)器資源的要求非常高。尤其是語(yǔ)音話單部分，單臺(tái)服務(wù)器的處理能力成了整個(gè)計(jì)費(fèi)系統(tǒng)的性能瓶頸，由于文件系統(tǒng)只能同時(shí)掛載在一臺(tái)服務(wù)器上，所以應(yīng)用也不能橫向擴(kuò)展，限制了業(yè)務(wù)的發(fā)展。尤其是在話單重批、月末出賬等高壓情況下，應(yīng)用服務(wù)器都是遠(yuǎn)超負(fù)荷在跑，嚴(yán)重影響重批和出賬的速度。
3.維護(hù)麻煩。由于語(yǔ)音和短信計(jì)費(fèi)事分跑在兩臺(tái)服務(wù)器上，當(dāng)應(yīng)用升級(jí)、采集點(diǎn)變更等需要對(duì)應(yīng)用配置進(jìn)行維護(hù)改動(dòng)的時(shí)候，都帶來(lái)雙倍的工作量和升級(jí)時(shí)間。安排計(jì)劃內(nèi)的維護(hù)停機(jī)也相當(dāng)困難，需要停止應(yīng)用。
從對(duì)老系統(tǒng)的分析可以看到，對(duì)計(jì)費(fèi)應(yīng)用架構(gòu)進(jìn)行改進(jìn)的核心問(wèn)題是提升其橫向擴(kuò)展能力，必須做到讓多臺(tái)服務(wù)器分擔(dān)計(jì)費(fèi)處理業(yè)務(wù)。那如何擴(kuò)展？常見(jiàn)的應(yīng)用擴(kuò)展分割主要有以下兩種:
1.按地市劃分
以地市(或號(hào)段)分割話單，在每臺(tái)計(jì)費(fèi)應(yīng)用服務(wù)器上運(yùn)行完整的計(jì)費(fèi)程序，只是處理話單的地市不同。
這種方式劃分簡(jiǎn)單，應(yīng)用服務(wù)器之間的耦合比較低。但是同時(shí)也存在兩個(gè)問(wèn)題：
一是多臺(tái)應(yīng)用服務(wù)器之間相互獨(dú)立，實(shí)現(xiàn)應(yīng)用服務(wù)器的冗余互備比較麻煩，需要實(shí)現(xiàn)多節(jié)點(diǎn)的HA；
二是對(duì)于省內(nèi)漫游的話單處理比較麻煩，需要通過(guò)ftp等文件傳輸接口方式進(jìn)行文件傳輸，影響計(jì)費(fèi)的速度。
2.按功能模塊劃分
每臺(tái)計(jì)費(fèi)應(yīng)用服務(wù)器分別運(yùn)行不同的計(jì)費(fèi)模塊，如預(yù)處理，排重，分揀，批價(jià)，入庫(kù)，但都是處理同樣的目標(biāo)話單。
這種方式實(shí)現(xiàn)比較復(fù)雜，需要對(duì)應(yīng)用進(jìn)行改造，同時(shí)也存在一個(gè)比較嚴(yán)重的問(wèn)題。因?yàn)樵谟?jì)費(fèi)的過(guò)程中，有7次文件落地到磁盤(pán)的過(guò)程，這意味著要在應(yīng)用服務(wù)器之間進(jìn)行多次的文件傳輸，這會(huì)嚴(yán)重影響計(jì)費(fèi)的速度。
江蘇聯(lián)通新計(jì)費(fèi)系統(tǒng)應(yīng)用CFS的架構(gòu)調(diào)整
江蘇聯(lián)通在新一代BSS中采用按地市劃分的方式實(shí)現(xiàn)計(jì)費(fèi)的橫向擴(kuò)展。前面提到按地市劃分存在的兩個(gè)問(wèn)題，由于使用了VERITAS
CFS提供的群集文件系統(tǒng)，在6臺(tái)應(yīng)用服務(wù)器之間共享了計(jì)費(fèi)應(yīng)用的文件系統(tǒng)，得到了完美的解決。
VERITASCFS讓SAN真正發(fā)揮作用。通過(guò)所有采集和計(jì)費(fèi)服務(wù)器直接在SAN上共享相同的文件系統(tǒng)，VERITASCFS提供了一個(gè)高效可靠的數(shù)據(jù)共享基礎(chǔ)架構(gòu)。
上圖即為江蘇聯(lián)通在新一代BSS計(jì)費(fèi)系統(tǒng)的架構(gòu)描述：6臺(tái)計(jì)費(fèi)應(yīng)用主機(jī)共享CFS文件系統(tǒng)，兩臺(tái)應(yīng)用服務(wù)器負(fù)責(zé)從交換機(jī)采集話單文件，另外4臺(tái)應(yīng)用服務(wù)器則負(fù)責(zé)對(duì)采集后的話單進(jìn)行預(yù)處理、分揀、排重、批價(jià)、入庫(kù)等過(guò)程。
因?yàn)橐隫ERITASCFS，前面提到的所有問(wèn)題都得到了解決：
1)6節(jié)點(diǎn)互備冗余，避免單點(diǎn)故障。任何一個(gè)節(jié)點(diǎn)發(fā)生故障，原來(lái)上面跑的業(yè)務(wù)都可以很方便的跑到另外的任意一個(gè)節(jié)點(diǎn)上。
2)良好的擴(kuò)展能力。如果這6臺(tái)應(yīng)用服務(wù)器還不能滿足應(yīng)用，一方面可以對(duì)應(yīng)用服務(wù)器本身進(jìn)行擴(kuò)容，也可以再擴(kuò)展應(yīng)用服務(wù)器的數(shù)量分擔(dān)壓力，最大可以擴(kuò)展到32個(gè)節(jié)點(diǎn)。
3)避免了節(jié)點(diǎn)間的文件傳輸。所有節(jié)點(diǎn)共享文件系統(tǒng)，有效的避免了節(jié)點(diǎn)之間的文件傳輸開(kāi)銷，提高了性能。
4)維護(hù)便利。對(duì)應(yīng)用進(jìn)行更新和升級(jí)操作時(shí)可以采用滾動(dòng)升級(jí)(rolling upgrade)機(jī)制，消除了升級(jí)和更新帶來(lái)的停機(jī)時(shí)間，可以很方便的安排計(jì)劃內(nèi)停機(jī)，并且不影響業(yè)務(wù)。
總結(jié)
VERITASCFS的引入，解決了老計(jì)費(fèi)系統(tǒng)中結(jié)構(gòu)性問(wèn)題，加強(qiáng)了計(jì)費(fèi)應(yīng)用的健壯性和可擴(kuò)展性。在NGBSS割接上線后近3個(gè)月以來(lái)，CFS一直運(yùn)行穩(wěn)定，同時(shí)也提供了非常好的讀寫(xiě)性能（順序讀寫(xiě)達(dá)到450MB/s，隨機(jī)讀寫(xiě)達(dá)到150MB/s），為快速計(jì)費(fèi)提供了底層的技術(shù)保障。
為更好的利用和保護(hù)數(shù)據(jù)，我們考慮利用VeritasStorageFoundation的更多特性，比如存儲(chǔ)虛擬化、分級(jí)存儲(chǔ)、數(shù)據(jù)保護(hù)等，實(shí)現(xiàn)跨存儲(chǔ)或者異構(gòu)存儲(chǔ)的數(shù)據(jù)備份和保護(hù)等。
通信世界網(wǎng)(www.cww.net.cn)
相關(guān)鏈接: