選型測試難點
存儲設備作為銀行信息系統(tǒng)中最為關鍵的核心設備，不僅存放著全行業(yè)務及管理數(shù)據(jù)，同時也是容災解決方案的主要底層技術，選擇了某品牌存儲一般就意味著選擇了該品牌的存儲高可用技術及所配套的容災解決方案。因此在選型測試中不能僅考慮單臺存儲性能及功能，而應將整體容災解決方案作為著眼點，通過實地測試來為存儲選型提供真實有力的參考。在選型測試中面臨著三個難點。
- 一是如何真實測試存儲解決方案的功能。測試內容需要涉及存儲單機穩(wěn)定性及冗余性、多站點存儲高可用方案的容災功能、存儲與其他容災產(chǎn)品的兼容性和整體解決方案的容災功能。
- 二是如何真實測試存儲解決方案的性能。存儲廠商在推介產(chǎn)品時，往往依據(jù)存儲白皮書中實驗室所測量數(shù)據(jù)，但由于實際業(yè)務場景相比實驗室更為復雜，產(chǎn)品使用情況與理想數(shù)據(jù)相差甚遠。如何在差異化的復雜業(yè)務應用場景中，選擇測試案例來更為真實地測試存儲解決方案性能，是存儲選型測試的關鍵點。
- 三是如何保障測試工作的完備性和有效性。存儲設備價值較高、產(chǎn)品技術涉及面廣、測試案例數(shù)量繁多、測試持續(xù)時間較長，行內及參與測試存儲廠商均需投入大量精力及成本。在資源有限的情況下，需要制定針對性措施來保障測試工作的完備性和有效性，才能達到存儲選型測試的目標。
測試方法及內容
在行業(yè)特性及監(jiān)管部門的業(yè)務連續(xù)性要求下，銀行核心存儲解決方案的選型一般都較為審慎，因此本次選擇了業(yè)界較為傳統(tǒng)的3家存儲領先品牌A、B、C及1華為的高端全閃存儲作為測試目標。
1.測試方法的關注點
�。�1）選擇合適的測試載體。一般選擇真實系統(tǒng)的痛點場景，如高并發(fā)、大批量等應用程序作為載體來評估存儲產(chǎn)品的功能及性能。我行選擇核心系統(tǒng)中計算和存儲資源消耗量最大、并發(fā)度最高的存款結息批處理作為測試載體。
（2）重點關注整體解決方案功能。一般來說，在銀行核心系統(tǒng)相關產(chǎn)品選型時，需要根據(jù)實際業(yè)務增長量或業(yè)務種類發(fā)展情況，在現(xiàn)有性能需求基礎上，上浮1~2倍，其上限相對產(chǎn)品實驗室性能指標在50%以內，以此來選擇產(chǎn)品技術線路，確保存儲整體解決方案的性能冗余。因此選型測試應該重點關注整體解決方案功能，以確�；A架構的穩(wěn)定性。
�。�3）具有完備可靠的保障體系。一是公平公正。選型測試的目的是為了在商務采購方面，提供更符合行內實際情況的技術需求和選型依據(jù)。因此在選擇測試設備品牌和配置、制定測試案例時，應盡量統(tǒng)一標準，兼顧公平與效率。二是科學合理。選型測試不僅需要測試設備功能及性能，也應對設備廠商的技術支持體系進行考察，作為售后能力的重要評價標準。三是分工明確。明確參與測試廠商及行內在測試中的分工，特別是操作系統(tǒng)、數(shù)據(jù)庫等與存儲解決方案性能相關重點基礎軟件產(chǎn)品調優(yōu)的工作職責，是保障選型測試達到預期目標的關鍵措施。
2.測試內容
行內統(tǒng)一提供標準化的核心應用系統(tǒng)環(huán)境，基于應用系統(tǒng)性能指標，對存儲產(chǎn)品的功能及性能進行測試驗證。
�。�1）功能測試。存儲功能測試將從功能性、可靠性、可維護性等方面，對存儲設備進行全面測試。存儲及整體解決方案需支持行方核心系統(tǒng)全業(yè)務流程，并實現(xiàn)存儲設備的同城及異地容災切換等功能。
�。�2）性能測試。存儲性能測試需使用行內認可的第三方性能測試軟件，模擬核心應用系統(tǒng)業(yè)務流，對存儲設備進行性能測試。要求性能測試結果不低于我行現(xiàn)有核心架構下的性能。
將行內當前正在使用的“LVM+HACMP”架構作為基準測試場景，在此基礎上，調整對應的雙活復制或者遠程方案，進行雙機熱備、數(shù)據(jù)庫遠程復制和存儲雙活等業(yè)界較為主流容災方案的性能測試。相關性能測試由第三方測試廠商協(xié)助完成，重點關注對比主機、存儲、數(shù)據(jù)庫及測試案例（存款結息批處理耗時）等指標。
�。�3）廠家推薦用例。結合行內現(xiàn)網(wǎng)業(yè)務系統(tǒng)，由各廠家提供能夠展現(xiàn)產(chǎn)品優(yōu)勢的相關推薦用例，作為自選加分項。
測試結果
通過4個月的選型測試，對同城雙活中心建設中，可以選用的存儲架構和邏輯架構均進行了測試，對不同架構下的性能做了橫向對比。根據(jù)實際的工作流程，我們從廠商技術服務實力及備件情況、技術架構、功能、性能4個維度進行分析。
1.廠商配合力度及現(xiàn)場備件情況
從技術上來看，4家廠商的售后工程師對于產(chǎn)品都比較熟悉，經(jīng)驗較為豐富。從參與測試技術人員數(shù)量上來看，售后工程師數(shù)量方面華為、A、B、C依次減少（其中華為存儲研發(fā)團隊現(xiàn)場支持）。從備件儲備上來看，A、B和華為均有本地備件庫，C暫無。
2.存儲容災方案性能測試情況
通過7種業(yè)界主流容災技術組合對比測試，以應用程序指標（存款結息批處理耗時）作為衡量指標，“LVM Mirror+HACMP+HADR（異步）+遠端存儲異步復制”方案相較“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”方案，耗時縮短3%以內，但其主機cpu、內存消耗遠高于后者。綜合考慮實際運行環(huán)境中，整體容災架構的性能及穩(wěn)定性，選擇了“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”作為同城雙活容災架構方案。
3.各品牌存儲重點技術指標測試情況
以應用程序（存款結息批處理）耗時作為衡量指標，將“存儲雙活+HACMP+HADR（異步）+遠端存儲異步復制”方案測試結果作為對比項，各參與廠商測試結果相差5%以內，其中華為OceanStor Dorado 18000系列全閃存方案耗時最短，為77分9秒。存儲功能方面，各廠商“存儲全量復制”功能均全量拷貝后即時可用，“數(shù)據(jù)壓縮”均不影響性能。
4.測試方案中的不足
參與測試的存儲架構有所差異。在實際選型測試中，由于參與測試存儲廠家的產(chǎn)品生產(chǎn)地有所不同，受限于到貨時間、成本等因素，部分廠家僅提供了2臺全閃存儲，同時也存在存儲配置有所差異的情況，在一定程度上影響了測試結果。
投產(chǎn)運行情況
基于良好的測試表現(xiàn)、較為成熟的售后服務體系，以及分片負載均衡IO下發(fā)和滿分條新寫等提高存儲性能的特性技術，最終選擇了6臺華為OceanStor Dorado 18000系列全閃存，構建了核心類和重要類業(yè)務系統(tǒng)兩套本地雙活、同城3DC的容災體系架構。
各類系統(tǒng)架構升級投產(chǎn)后，穩(wěn)定性和性能均大幅提升，夜間批處理全量時間由5.5小時縮短至3.2小時，其中決定網(wǎng)點門市業(yè)務的日啟批處理時間由3小時縮短至1.4小時，耗時最長的存款計息批處理由110分鐘縮短至15分鐘。
全閃存運行性能方面，平均讀時延和最大讀時延，由原架構的2.41ms和15.41ms，提升為當前的0.4ms和0.7ms，提升約為6倍；最大寫時延，由原架構的4.75ms，提升為小于1ms，提升約為4倍；平均寫時延，由原架構的0.44ms，提升為當前的0.4ms。
湖北農(nóng)信在同城雙活中心建設中，綜合考慮系統(tǒng)瓶頸、同業(yè)案例以及技術發(fā)展趨勢，將全閃存作為選型測試基準。邀請4家存儲業(yè)界優(yōu)秀廠商，基于高端全閃存產(chǎn)品，圍繞應用場景，測試了業(yè)界常用的各類操作系統(tǒng)、數(shù)據(jù)庫及存儲等高可用技術組合的容災架構性能，較為全面、真實地評估高端全閃存的高可用功能及性能。產(chǎn)品方案投產(chǎn)后，運轉性能與選型測試情況相符，達到預期效果。限于技術產(chǎn)品及方案的復雜性和測試方案的完備性，本選型測試結果僅代表我行實際測試情況，希望能拋磚引玉，為同業(yè)核心存儲架構選型提供有益的參考。
文 / 湖北省農(nóng)村信用社聯(lián)合社數(shù)據(jù)中心 雷智、張彤
