【序言】華為OceanStor 9000大數(shù)據(jù)存儲系統(tǒng)在標準性能評估機構SPEC的SPECsfs2008基準測試中再次刷新記錄， 領先友商產品3倍多，成為存儲業(yè)界性能新的領導者。這也是華為存儲產品繼2009 年、2011年、2012年三次獲得最高測試結果后，又一次領跑SPECsfs2008測試，創(chuàng)造新的SPEC記錄。

　　1、測試前的爭議

　　雖然有了前三次SPEC性能測試的經驗，但是面對這次500萬OPS性能極限的沖刺，華為內部測試團隊也有了很大的爭議。“已經有了業(yè)界領先的評測數(shù)據(jù)為什么還要進行更高的性能測試？測試需要投入大量的人力、物力，這次更高性能的測試有什么意義？”類似的問題一直被提及。我們也一直問自己，“我們的測試能夠為客戶帶來什么？”項目負責人龍茵回顧起測試啟動初期不斷與周邊團隊溝通的歷程也是感慨萬千。

　　“以客戶為中心”--華為的立足之本，在不同的場合，不同的產品領域被提及，連客戶看不到的一個測試項目的啟動也不例外。“客戶的滿意度，不僅僅是產品的功能滿足，還有產品交付質量以及后續(xù)產品的維護、服務質量，甚至產品升級、擴容等都需要圍繞著客戶進行全生命周期的管理” ，在產品研發(fā)、客戶交付一線工作多年的項目專家徐忠反復提到：“500萬OPS意味著一秒鐘可同時瀏覽60萬張商品圖片，或是一秒鐘完成高分辨率的衛(wèi)星影像30景，覆蓋8萬平方公里，相當于葡萄牙的國土面積，多個行業(yè)對存儲設備都有極限性能的需求。所以，這次大規(guī)模的測試是為500萬OPS 需求的客戶進行的項目交付，從物料供應到交付安裝，每一環(huán)節(jié)都是真實的客戶需求”。如果說前三次的SPEC測試是業(yè)界的比拼、追趕，那么這第四次測試--以500萬OPS為目標的測試，更像是華為“自我批判”的精神實踐--不斷的自我否定，不斷的的自我超越。

　　2、第一個吃螃蟹，吃出新花樣

　　在SPEC測試標準中只定義了最基本的測試項目，但具體廠商采用什么方法測試，采用多少的數(shù)據(jù)量進行測試并沒有統(tǒng)一的指導書。針對500萬OPS 的極限性能更沒有現(xiàn)成的測試方案可以照搬，華為測試小組通過前三次的測試積累，逆向倒推出一個基本的測試方案，其中從數(shù)據(jù)量、文件大小、文件操作及可靠性、部署簡易程度等多方面梳理出測試準備項。

　　表一 測試需求項簡表

　　同時， 根據(jù)梳理的測試需求項整理了測試的硬件環(huán)境。硬件需求分為客戶壓力測試機、OceanStor 9000節(jié)點及交換機配置。具體包含客戶測試機的選型、配置及OceanStor每節(jié)點的硬件配置，如，每節(jié)點內存&NVDIMM、網(wǎng)卡、SSD、SAS磁盤需求、交換機型號和接口數(shù)。

　　3、化整為零，步步為營

　　大規(guī)模硬件設備互聯(lián)、軟件快速部署、系統(tǒng)性能調優(yōu)等問題都是業(yè)界難以突破500萬OPS基準測試的重要因素。華為測試項目組決定：初始使用小規(guī)模集群，做小規(guī)模測試，隨后增加測試節(jié)點，最終完成系統(tǒng)500萬OPS測試目標。

　　3.1 小試牛刀

　　小規(guī)模集群驗證中，實證選定客戶機及內存、網(wǎng)卡配置可滿足測試需求，且按照線性擴展原則，20臺客戶機即可滿足測試終極測試目標需要。

　　并且OceanStor 9000在10、20、40節(jié)點規(guī)模的測試環(huán)境下，取得50萬OPS，100萬、200萬OPS時延都低于2ms的結果，達到了小規(guī)模測試要求，取得了階段性的勝利。

　　圖1 10節(jié)點測試結果

　　圖2 20節(jié)點測試結果

　　圖3 40節(jié)點測試結果

　　3.1一步一腳印，再出發(fā)

　　通過了小規(guī)模的階段測試，項目組沒有時間進行慶賀，馬不停蹄向500萬OPS目標前進。隨著節(jié)點的增多，產品交付中的細小、低概率問題被無數(shù)倍的放大，成為華為質量里不可接受的問題。

　　·質量一致性

　　根據(jù)測試驗證進度計劃，華為供應鏈采用多批次供貨策略。在進行100節(jié)點集群驗證時，發(fā)現(xiàn)在軟件、系統(tǒng)配置相同情況下，其中一臺設備性能與其他設備相差10倍以上。經過分析，發(fā)現(xiàn)該設備在相同操作系統(tǒng)配置，相同啟動選項條件下，設備時鐘源與其他設備不一樣。針對這個問題進一步分析，最終判定是該臺設備的一個硬件器件參數(shù)異常，造成時鐘源選擇錯誤。通過增加物料參數(shù)檢查、調整該參數(shù)使用，在確�？煽康臈l件下，容忍更大的偏差等硬、軟多個手段解決該問題。

　　·大規(guī)模集群部署和監(jiān)控

　　使用單節(jié)點修改配置、順序啟動等傳統(tǒng)的部署方案不能夠滿足大規(guī)模集群部署。OceanStor 9000設計了方便易用的部署和監(jiān)控方式，在小規(guī)模集群驗證中，只要導入配置表單，系統(tǒng)即能自動完成部署，完成文件系統(tǒng)裝載，20節(jié)點約半小時。經優(yōu)化系統(tǒng)最大文件句柄數(shù)，協(xié)調各節(jié)點之間TCP鏈接、監(jiān)控鏈接。100節(jié)點部署時間大約在1 小時左右，系統(tǒng)部署性能得到大幅提升。

　　·大規(guī)模系統(tǒng)參數(shù)調優(yōu)

　　系統(tǒng)中有大量的可調參數(shù)用于優(yōu)化性能，如何快速的找到最有效的參數(shù)，并調整到合適的值對于測試小組來說是個巨大的挑戰(zhàn)。調優(yōu)小組將參數(shù)分為操作系統(tǒng)參數(shù)和巫山文件系統(tǒng)參數(shù)兩大類；操作系統(tǒng)參數(shù)又分為協(xié)議棧相關和硬件驅動相關兩類。

　　文件系統(tǒng)調優(yōu)主要集中在各子系統(tǒng)對系統(tǒng)資源的分配，使用iostat、systemtap、perf、sar等系統(tǒng)工具以及自研延時分析統(tǒng)計工具，詳細分析網(wǎng)絡IO地圖、磁盤IO地圖，內存使用比例關系，流程耗時，線程及接口CPU占用情況，逐步調整出各子系統(tǒng)最佳線程配比，最佳內存分配比例，最佳CPU綁定策略。

　　通過觀察網(wǎng)絡獨立壓力測試的情況，分別對BIOSMaxPayload、中斷均衡腳本、TCP buffer等參數(shù)進行調整，使得網(wǎng)卡延時縮短，吞吐量增大，最終網(wǎng)絡獨立壓力測試獲得最好效果。

　　最后將操作系統(tǒng)和文件系統(tǒng)整合到一起，確定調整參數(shù)有效，對有沖突或者還有明顯瓶頸的位置，再次綜合分析原因。

　　·并行的開發(fā)和性能調優(yōu)版本管理

　　為了應對并行的功能開發(fā)與性能調優(yōu)，每個模塊、接口、獨立流程開發(fā)時即保證功能正確、異常處理完善、代碼無冗余、系統(tǒng)資源使用合理。每日自動構建集成的LLT測試及時發(fā)現(xiàn)獨立單元可能的問題，并且得出這些單元的性能情況。每次構建若發(fā)現(xiàn)單元性能差異，與發(fā)現(xiàn)問題一樣及時得到解決。

　　迭代模塊交付后，在自動化測試中集成性能測試，監(jiān)控每個版本性能基線，出現(xiàn)性能倒退或者與理論分析不符，及時分析可能原因作出優(yōu)化。以下為性能優(yōu)化迭代流程圖。

　　所有優(yōu)化均落入版本發(fā)布流程落入交付版本，保證客戶能夠獲得高質量高性能產品。

　　測試過程中碰到的問題有大、有小，有預計之中，也有意料之外的難題，測試項目組齊心協(xié)力，解決了一個又一個的難題。隨著測試數(shù)據(jù)的步步達成，終極目標近在咫尺。

　　4、一直在路上

　　100節(jié)點測試結果

　　OceanStor 9000產品提交四種集群規(guī)模（10、20、40、100節(jié)點）SPECsfs2008性能測試結果，并一次性通過SPEC認證。其中100節(jié)點規(guī)模的系統(tǒng)OPS可達到5,030,264,時延也低至1.63ms，在SPECsfs2008性能測試結果中遙遙領先。從四種規(guī)模測試結果可以很容易看出，OPS 性能與節(jié)點數(shù)量成正比，并且時延曲線趨勢一致（時延都在2ms以下），完全滿足系統(tǒng)大規(guī)模擴展時容量與性能的雙重需求，同時，最終的100節(jié)點部署時間在1小時左右，加快了實際項目交付的進度。真實的測試環(huán)境、第三方認證的測試數(shù)據(jù)，大大消除了客戶對產品的疑慮，這些行動的出發(fā)點不僅是因為華為人對產品質量的信心，更是華為人“以客戶為中心”核心價值的體現(xiàn)。

　　“有時候會碰到客戶對產品性能參數(shù)的質疑，我們會婉轉的給客戶看華為存儲產品經過第三方認證的測試結果。華為存儲產品的規(guī)格、性能參數(shù)不是空洞洞的寫在產品彩頁中的，而是實實在在通過真實測試環(huán)境測出來的，并是獲得第三方的認證的規(guī)格。同樣，在客戶側的測試中，我們的測試結果令客戶非常滿意，產品獲得了客戶的高度認可。”海量存儲產品總經理袁遠描述了客戶從質疑到信服的心理變化。

　　面對產品獲得的榮譽，測試項目組卻一刻不能停歇，OceanStor 9000極限容量的測試目標已經確定， 項目組成員又開始忙碌起來……

　　SPECsfs2008基準小百科

　　SPEC（Standard Performance Evaluation Corporation）標準性能評估機構是全球系統(tǒng)應用性能評測的權威機構之一（SPEC 組織官網(wǎng)：<http://www.spec.org/>）。 EMC、Netapp、IBM等60個IT主流廠家都是SPEC機構成員，均參與標準的制定并且通過該標準認證機構發(fā)布產品性能數(shù)據(jù)。

　　SPECsfs2008是文件服務應用的核心測評基準（<http://www.spec.org/sfs2008/> ）是將典型文件服務器應用進行抽象，把真實的業(yè)務壓力轉化為可測試、可衡量的參數(shù)值：通過文件訪問的吞吐量和響應時間評估文件服務器性能，同時保證存儲數(shù)據(jù)可靠性、一致性，并遵守接入一致性原則。

　　在SPEC官網(wǎng)上，通過測試的產品名單每季度刷新，最新的2013年第四季度通過測試的產品名單，可參閱：<http://www.spec.org/sfs2008/results/res2013q4/>。