中文字幕无码久久精品,13—14同岁无码A片,99热门精品一区二区三区无码,菠萝菠萝蜜在线观看视频高清1

 首頁 > 新聞 > 國內(nèi) >

農(nóng)行試點x86服務器應對大數(shù)據(jù)多重挑戰(zhàn)

2013-12-04 15:44:29   作者:   來源:CTI論壇   評論:0  點擊:


  金融數(shù)據(jù)中心一貫是小型機的天下,這是源于金融業(yè)務以可靠性和穩(wěn)定性為首要指導。不過,隨著大數(shù)據(jù)和分布式架構的流行,x86服務器憑借堪與小型機比肩的性能,正在逐步搶占小型機的市場空間。

  在信息化時代,數(shù)據(jù)深刻影響著銀行的未來發(fā)展,誰擁有數(shù)據(jù)誰就獲得了話語權。數(shù)據(jù)的價值來源于對海量的客戶交易數(shù)據(jù)、客戶行為數(shù)據(jù)等的深層挖掘和分析,以便做到精準定位和營銷,進而根據(jù)不同的客戶和市場需求設計不同的金融產(chǎn)品,提升銀行的盈利能力。這種基于大數(shù)據(jù)的金融業(yè)務創(chuàng)新,目前已經(jīng)成為各商業(yè)銀行的競爭焦點之一。

  中國農(nóng)業(yè)銀行作為中國四大國有銀行之一,據(jù)不完全統(tǒng)計,目前其各應用系統(tǒng)每年產(chǎn)生的結構化數(shù)據(jù)已經(jīng)突破100TB,而非結構化數(shù)據(jù)更是突破1PB(1024TB)大關。這也促使農(nóng)行在大數(shù)據(jù)實踐方面積極走在行業(yè)前列。

  數(shù)據(jù)飛速增長 IT架構挑戰(zhàn)嚴峻

  過去,農(nóng)業(yè)銀行業(yè)務系統(tǒng)運行平臺多是小型機,而小型機單機擴展能力有限,原有的架構越來越難以支撐飛速增長的業(yè)務應用的計算資源需求。

  廠商來源單一也導致小型機的采購和維護費用高昂。特別是Unix小型機軟件封閉,操作系統(tǒng)、 虛擬化、數(shù)據(jù)庫等軟件采購費用相比x86架構高出數(shù)十倍,性價比較低。

  于是,近年來在互聯(lián)網(wǎng)行業(yè)廣泛應用并持續(xù)創(chuàng)造價值的Hadoop大數(shù)據(jù)方案,引起了中國農(nóng)業(yè)銀行的關注。Hadoop框架的一個顯著特點是,將以往需要高性能小型機才能完成的計算任務,分解為由多臺x86服務器(甚至PC機)組成的計算集群來完成。

  2012年7月,農(nóng)行正式引入業(yè)內(nèi)廣受關注的Hadoop大數(shù)據(jù)方案。該方案首先被應用于支撐對歷史交易數(shù)據(jù)進行查詢與分析,通過采用業(yè)界流行的Hadoop分布式計算框架,處理海量結構化和非結構化數(shù)據(jù)。

  經(jīng)過認真的評估與論證,農(nóng)行的IT技術團隊認為,由x86服務器組成的計算集群,在計算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求,但在經(jīng)濟性方面比小型機更具有優(yōu)勢。

  聯(lián)合華為試點分布式計算架構  順應U2L大勢

  為驗證這種可行性,2012年下半年,農(nóng)行的IT技術團隊與華為的服務器研發(fā)團隊成立了聯(lián)合工作組。根據(jù)雙方達成的合作協(xié)議,華為將提供x86服務器組成計算集群,由農(nóng)行在華為的計算平臺上運行Hadoop的相關軟件,并進行相關的業(yè)務測試。農(nóng)行與華為均希望通過試點“x86服務器”的分布式并行計算架構,來共同應對金融大數(shù)據(jù)業(yè)務帶來的挑戰(zhàn)。

  首先,農(nóng)行希望x86服務器在計算性能上應具備“秒級響應”的能力。目前,農(nóng)行在中國境內(nèi)的分支機構超過2.34萬,服務的客戶超過4.2億,各營業(yè)網(wǎng)點、自助終端設備、網(wǎng)上銀行等對數(shù)據(jù)中心的訪問屬于高并發(fā)訪問。對于歷史交易數(shù)據(jù)的查詢與分析業(yè)務,為確?蛻舻臐M意度與銀行的工作效率,農(nóng)行要求大數(shù)據(jù)處理平臺對交易明細數(shù)據(jù)的隨機查詢要在“秒級”完成響應。

  “這就意味著,在1秒鐘之內(nèi),大數(shù)據(jù)處理平臺要從120TB的5年歷史交易數(shù)據(jù)中,也就是大約650億條的歷史交易記錄中,將查詢結果反饋給用戶。”農(nóng)行的專家這樣跟華為說。

  其次,農(nóng)行希望x86服務器具備良好的經(jīng)濟性。在應用x86服務器之前,農(nóng)行多采用小型機來承載歷史交易數(shù)據(jù)的查詢與分析業(yè)務。為滿足業(yè)務要求,小型機首先需要存放至少5年120TB的歷史數(shù)據(jù),同時每天新增的交易記錄在4000萬條以上,需要約100G的存儲空間。但小型機相對封閉的硬件架構設計,使得其可擴展性受到很大的限制,導致每次擴容成本都很高昂。此外,小型機非通用的架構設計,也給農(nóng)行帶來了不菲的維保費用。

  “我們之所以選擇x86服務器,一方面,是因為近年來x86服務器的技術性能得到了大幅提升;另一方面,采用通用架構的x86服務器,其在采購成本、擴容成本及維護成本方面,相對于小型機的優(yōu)勢也是很明顯的。”農(nóng)行專家指出。

  x86服務器,金融大數(shù)據(jù) 的選擇

  華為在深入分析了農(nóng)行對大數(shù)據(jù)處理平臺的需求后,向農(nóng)行提供了基于華為RH2288 V2服務器的分布式并行計算集群進行測試。測試結果表明,華為解決方案完全滿足農(nóng)行對海量數(shù)據(jù)進行分布式處理的要求。

  x86服務器的分布式架構使得服務器節(jié)點可以靈活擴展,按需配置,支持飛速增長的業(yè)務和數(shù)據(jù)量,從而滿足當前與未來業(yè)務的發(fā)展需要,充分保護農(nóng)行的初期和遠期投資。

  x86服務器不僅在計算性能上可以滿足Hadoop大數(shù)據(jù)方案的要求,而且成本上比小型機更具有吸引力。相比小型機方案,采用華為RH2288 V2可以節(jié)約40%的運維成本,節(jié)約總體擁有成本(TCO)20%以上。

  此外,華為RH2288 V2服務器支持現(xiàn)場調(diào)整與優(yōu)化,農(nóng)行可以按照業(yè)務需求對服務器的配置進行現(xiàn)場調(diào)優(yōu),這使服務器的計算性能在Hadoop大數(shù)據(jù)環(huán)境下發(fā)揮到最優(yōu)。在測試中,農(nóng)行85GB的原始數(shù)據(jù)加載(3份冗余)或者5000萬定期賬戶批量處理,華為RH2288 V2服務器計算集群能在10分鐘內(nèi)完成。而對于2億條交易詳單、600并發(fā)隨機查詢的平均響應時間,華為解決方案的測試結果低于40ms,遠遠超出農(nóng)行的預期。

  2013年8月份,中國農(nóng)業(yè)銀行將在其正式生產(chǎn)環(huán)境的Hadoop大數(shù)據(jù)處理平臺中,采用了200臺華為RH2288 V2服務器進行部署。

  此次試點表明, x86服務器已經(jīng)完全可以承擔金融行業(yè)關鍵業(yè)務,銀行對小型機的技術依賴進一步降低。采用開放架構的x86服務器建設銀行的IT系統(tǒng)(尤其是開放平臺系統(tǒng)),已經(jīng)成為金融行業(yè)信息化的發(fā)展趨勢之一。

分享到: 收藏

專題