隨著摩爾定律的失效,以前靠升級硬件實現(xiàn)Scale Up的方式已經(jīng)不行了。讓數(shù)據(jù)庫Scale Out變成新的考慮目標。當數(shù)據(jù)量達到一定量級時,采用分布式數(shù)據(jù)庫往往是必經(jīng)之路。
因此,分布式數(shù)據(jù)庫近年來廣受關(guān)注,許多廠商都推出了相應(yīng)的分布式數(shù)據(jù)庫產(chǎn)品,并且價格從免費到數(shù)百萬不等,選擇多了,選型難度就更大了。
另外,到目前為止,分布式數(shù)據(jù)庫的選型還沒有一個真正科學并廣泛接受的標準,可以準確評判某個分布式數(shù)據(jù)庫的好壞。因此,分布式數(shù)據(jù)庫選型是一個十分具有挑戰(zhàn)并且需要小心的工作。
本調(diào)查定位面向金融行業(yè)國產(chǎn)分布式數(shù)據(jù)庫選型及滿意度調(diào)查?有2個方面的原因。
其一、分布式,為國產(chǎn)數(shù)據(jù)庫打開了一個全新的思路,“沿著同樣的路線再造一個Oracle根本不可能,也沒有意義”成為國內(nèi)數(shù)據(jù)庫從業(yè)者的共識,分布式數(shù)據(jù)庫被認為是“變道超車”的機會。在這條賽道,中國沒有落后于人,因為中國人口紅利,有著世界絕無僅有的場景支撐。比如:螞蟻集團自己研發(fā)的數(shù)據(jù)庫OceanBase已經(jīng)能夠支撐住雙11的壓力,并且性能還不錯。美國商務(wù)部“拉黑”12家中國企業(yè),再次激發(fā)國產(chǎn)替代的預期。
其二、金融行業(yè)下一步分布式改造已然成為必然趨勢,2019年中國人民銀行印發(fā)《金融科技(FinTech)發(fā)展規(guī)劃(2019-2021 年)》(銀發(fā)〔2019〕209 號)金融科技發(fā)展三年規(guī)劃中提到的“加強分布式數(shù)據(jù)庫研發(fā)應(yīng)用”的要求,目前已經(jīng)接近收關(guān)。
因此,用不用分布式數(shù)據(jù)庫已經(jīng)不是問題,而是怎么選?怎樣用?如何用好才是迫切需要解決的問題。
那么,在如此眾多的產(chǎn)品中,金融行業(yè)企業(yè)到底應(yīng)該如何正確的選擇國產(chǎn)分布式數(shù)據(jù)庫供應(yīng)商,如何選擇最適合企業(yè)自身的國產(chǎn)分布式數(shù)據(jù)庫服務(wù),從而讓企業(yè)真正實現(xiàn)效率的提升,滿足業(yè)務(wù)發(fā)展的需求,同時節(jié)省成本開支。
目前,已經(jīng)應(yīng)用國產(chǎn)分布式數(shù)據(jù)庫的企業(yè)滿意度如何?他們是如何應(yīng)用國產(chǎn)分布式數(shù)據(jù)庫的?踩過哪些坑?如何規(guī)避?國產(chǎn)分布式數(shù)據(jù)庫在使用過程中,有哪些突出的問題?對于其他即將應(yīng)用國產(chǎn)分布式數(shù)據(jù)庫或者使用效果不明顯的企業(yè),有哪些值得借鑒的,國產(chǎn)分布式數(shù)據(jù)庫供應(yīng)商還有哪些可以改善的地方?這是我們本期報告所關(guān)注的點。
數(shù)據(jù)說明:2021年5-12月,IT168面向旗下ITPUB、ChinaUnix社區(qū)進行調(diào)查,調(diào)查對象涵蓋CIO/CTO(3%)、技術(shù)總經(jīng)理/總監(jiān)(8%)、DBA(21%)、架構(gòu)師(14%)、技術(shù)經(jīng)理(21%)、項目經(jīng)理(12%)、研發(fā)工程師(14%)等,回收問卷1391,其中銀行、保險、證券等金融行業(yè)合格問卷476。
為了更加有效地保障金融行業(yè)調(diào)查數(shù)據(jù)的有效性,除了問卷調(diào)查,我們針對金融企業(yè),又定向地展開了超過200次的電話微信調(diào)查,并采訪了近30位金融企業(yè)的數(shù)據(jù)庫領(lǐng)域的技術(shù)專家,得出了當前的國內(nèi)《國產(chǎn)分布式數(shù)據(jù)庫選型及滿意度調(diào)查報告》。特別說明:本次調(diào)查,以部署的企業(yè)的案例數(shù)為主,不看具體的部署節(jié)點數(shù)。
報告主要結(jié)論:
- 分布式數(shù)據(jù)庫應(yīng)用在金融行業(yè)是大勢所趨
- 金融行業(yè)分布式數(shù)據(jù)庫改造更青睞原生分布式架構(gòu)技術(shù)路線
- 產(chǎn)品選擇和使用上,OceanBase最受歡迎
- 產(chǎn)品技術(shù)及服務(wù)能力上,騰訊云TDSQL最受推崇
- 安全性(可用性、可靠性、穩(wěn)定性)是金融行業(yè)選擇分布式數(shù)據(jù)庫的首要指標。
- 目前,分布式數(shù)據(jù)庫在金融行業(yè)的應(yīng)用場景分析偏多,交易次之。
- 部署方式私有云與混合云部署將是常態(tài)
- 運維復雜度提升是金融行業(yè)在應(yīng)用分布式數(shù)據(jù)庫過程中遇到的最突出問題。
- 國產(chǎn)分布式數(shù)據(jù)庫用戶滿意度:OceanBase第一
- 國產(chǎn)分布式數(shù)據(jù)庫供應(yīng)商推薦度:PingCAP第一
- 運維復雜讓金融行業(yè)對供應(yīng)商提供相關(guān)數(shù)據(jù)庫優(yōu)化軟件有較強訴求
在調(diào)研中,我們首先對金融行業(yè)的分布式數(shù)據(jù)庫應(yīng)用情況做了調(diào)查,從下圖中,我們可以看到,81%的受訪人表示,其所在企業(yè)已經(jīng)、正在或計劃部署分布式數(shù)據(jù)庫,其中已經(jīng)部署、正在部署、正在計劃部署的企業(yè)分別占比37%、18%、26%,只有19%的企業(yè)表示沒有任何計劃。這說明,分布式數(shù)據(jù)庫在金融行業(yè)中的應(yīng)用是大勢所趨。
調(diào)查發(fā)現(xiàn),分布式數(shù)據(jù)庫在金融行業(yè)中的應(yīng)用之所以是大勢所趨,有兩個大背景,其一,業(yè)務(wù)驅(qū)動,隨著數(shù)據(jù)井噴,金融行業(yè)不僅業(yè)務(wù)需求升級倒逼架構(gòu)創(chuàng)新,同時互聯(lián)網(wǎng)金融的快速發(fā)展對金融系統(tǒng)能力帶來全新挑戰(zhàn),傳統(tǒng)集中式數(shù)據(jù)庫已經(jīng)難以承載,而分布式能很好的解決這一問題。其二、政策指引,《金融科技(FinTech)發(fā)展規(guī)劃(2019-2021)》中明確指出:“加強分布式數(shù)據(jù)庫的研發(fā)應(yīng)用。做好分布式數(shù)據(jù)庫金融應(yīng)用的長期規(guī)劃,加大研發(fā)與應(yīng)用投入力度。有計劃、分步驟穩(wěn)妥推動分布式數(shù)據(jù)產(chǎn)品先行先試,形成可借鑒、能推廣的典型案例和解決方案,為分布式數(shù)據(jù)庫在金融領(lǐng)域的全面應(yīng)用探明路徑。
分布式數(shù)據(jù)庫改造更青睞原生分布式架構(gòu)技術(shù)路線
分布式數(shù)據(jù)庫選型首先面對的是技術(shù)路線的選擇,原生分布式架構(gòu),重構(gòu)了數(shù)據(jù)庫系統(tǒng),原生支持分布式事務(wù)處理與數(shù)據(jù)切分,在擴展性方面存在天然的優(yōu)勢,在未來具有更廣闊的發(fā)展空間,但目前產(chǎn)品成熟度,仍需時間錘煉。
分庫分表中間件技術(shù)相對成熟,但對數(shù)據(jù)庫的核心能力改造并不多,基本上都沿用了原來單點數(shù)據(jù)庫的核心能力,最大的優(yōu)勢是能夠以最小的代價在最短的時間內(nèi)突破單點數(shù)據(jù)庫的瓶頸。
企業(yè)選擇了一個分布式數(shù)據(jù)庫產(chǎn)品之后,意味著選擇了未來五年甚至十年的一個技術(shù)路線,因此,大多數(shù)用戶從長遠角度來看,更愿意選擇原生分布式架構(gòu)。
調(diào)查也證實了這樣的結(jié)果,56%的受訪者更傾向于原生分布式技術(shù)路線。而傾向于分布式中間件+分庫分表的受訪者也不少,占比44%。(說明:數(shù)據(jù)僅代表受訪者選擇的傾向性,并不代表當下的應(yīng)用狀態(tài))
產(chǎn)品選擇和使用上,OceanBase最受歡迎
金融企業(yè)對分布式數(shù)據(jù)庫產(chǎn)品的選擇和使用,毫無疑問是各大廠商爭奪的焦點,對于其他企業(yè)也極具參考價值,下圖是一個多選項的調(diào)查數(shù)據(jù)。
特別說明:該項調(diào)查,以部署的企業(yè)案例數(shù)為主,不看具體的部署節(jié)點數(shù)。對GaussDB的定義并不包含openGauss。
有16.67%的受訪者表示,其所在企業(yè)已使用或計劃采用OceanBase,排名第一。2012年OceanBase開始支持支付寶,2014年替換支付寶交易系統(tǒng),2015年雙十一100%支持交易數(shù)據(jù)鏈和支付數(shù)據(jù)鏈,2016年雙十一支付寶的整個核心賬務(wù)庫已經(jīng)運行在OceanBase上,2017年螞蟻集團的所有核心數(shù)據(jù)鏈全部遷移到OceanBase。今年OceanBase宣布開源,并一次性開放300萬行代碼,都讓OceanBase備受關(guān)注。調(diào)查顯示,OceanBase具有豐富的金融級內(nèi)部實踐與商用實踐,商用案例覆蓋國有大行、城商行、農(nóng)商行、證券及保險行業(yè),其中不乏重度使用案例,目前金融領(lǐng)域TOP200的客戶服務(wù)比例高達四分之一。
第二名華為云GaussDB占比15.32%,與第三名騰訊云TDSQL15.21%,差距極微。短期華為云GaussDB受華為整體戰(zhàn)略調(diào)整影響,但從長期看,是看好的。而騰訊云TDSQL過去一年在金融行業(yè)大力發(fā)展,遍地開花勢頭很猛,在TOP 10 銀行中服務(wù)比例高達 60%,勁頭十足。
產(chǎn)品技術(shù)及服務(wù)能力上,騰訊云TDSQL最受推崇
數(shù)據(jù)庫供應(yīng)商的產(chǎn)品技術(shù)及服務(wù)能力,也是金融行業(yè)選擇分布式數(shù)據(jù)庫至關(guān)重要的環(huán)節(jié)。數(shù)據(jù)顯示,在當前各個分布式數(shù)據(jù)庫產(chǎn)品的供應(yīng)商中,騰訊云 TDSQL的產(chǎn)品周邊生態(tài)完善程度及服務(wù)保障能力,最受金融企業(yè)用戶推崇,占比23.4%,目前TDSQL已助力20余家金融機構(gòu)完成核心替換。
騰訊云TDSQL在產(chǎn)品實施的技術(shù)服務(wù)方面,建設(shè)了完善的產(chǎn)品實施服務(wù)、維保服務(wù)團隊,有實力保障金融用戶的數(shù)據(jù)庫產(chǎn)品的實施與日常運營。
另外騰訊云TDSQL提供了比較完整的產(chǎn)品周邊服務(wù)工具套件。金融企業(yè)選擇使用分布式數(shù)據(jù)庫產(chǎn)品時,實現(xiàn)高質(zhì)量與高效的數(shù)據(jù)遷移,是一項至關(guān)重要的任務(wù)。
安全性(可用性、可靠性、穩(wěn)定性)是金融行業(yè)選擇分布式數(shù)據(jù)庫的首要指標
金融是國民經(jīng)濟的命脈,數(shù)據(jù)是金融企業(yè)最核心的資產(chǎn),所以,金融行業(yè)對分布式數(shù)據(jù)庫的要求“穩(wěn)”是第一位的,數(shù)據(jù)既不能錯也不能丟,同時系統(tǒng)不能停,因為,一旦系統(tǒng)停機會給金融企業(yè)帶來無法估量的經(jīng)濟和名譽損失。因此,金融企業(yè)對與“穩(wěn)” 相關(guān)的“可用性、可靠性、穩(wěn)定性”的要求較為極致。
安全性自然成為分布式數(shù)據(jù)庫選型的首要指標,占比20%。其次是產(chǎn)品服務(wù)能力與價格,占比18%,容災(zāi)能力占比13%,技術(shù)產(chǎn)品領(lǐng)先性,占比10%,可擴展性占比9%。
當前分布式數(shù)據(jù)庫在金融行業(yè)的應(yīng)用場景分析偏多,交易次之
數(shù)據(jù)和分析是數(shù)字化轉(zhuǎn)型的關(guān)鍵,金融科技以技術(shù)創(chuàng)新推動業(yè)務(wù)創(chuàng)新帶來了更多大數(shù)據(jù)分析需求,而信創(chuàng)則加速了國產(chǎn)化替代進程,尤其是一些金融企業(yè)核心業(yè)務(wù)分布式改造進程標志著金融級分布式數(shù)據(jù)庫逐漸走向成熟和穩(wěn)定。
調(diào)查顯示,有36%的分布式數(shù)據(jù)庫被用于大數(shù)據(jù)分析,30%用于傳統(tǒng)業(yè)務(wù),14%用于互聯(lián)網(wǎng)業(yè)務(wù),12%用于人工智能場景,其它場景8%。
私有云與混合云部署將是常態(tài)
在金融行業(yè),數(shù)據(jù)庫部署模式不僅與監(jiān)管要求有關(guān),也與企業(yè)規(guī)模相關(guān),尤其是頭部企業(yè)。目前在金融行業(yè),尤其是核心系統(tǒng),處于對數(shù)據(jù)主權(quán)及安全考量,大多數(shù)還是獨立部署,但隨著基礎(chǔ)層及平臺層的快速云化,上云是必然趨勢。
調(diào)查顯示,從云部署模式看,私有云與混合云部署將是常態(tài),其中私有云部署占比46%,混合云部署占比37%,公有云部署只有17%。
運維復雜度提升是金融行業(yè)在應(yīng)用分布式數(shù)據(jù)庫過程中遇到的最突出問題
相比傳統(tǒng)商業(yè)數(shù)據(jù)庫,分布式數(shù)據(jù)庫會有更多的節(jié)點和組件,更難于管理。
調(diào)查顯示,金融行業(yè)在使用分布式數(shù)據(jù)庫過程中,最突出的問題是運維復雜度提升,占比18%,其次是人才儲備不足,占比16%,對原有應(yīng)用系統(tǒng)升級改造成本較高,占比15%,數(shù)據(jù)遷移難度大占比14%,兼容性問題,占比11%。
運維復雜讓金融行業(yè)對供應(yīng)商提供相關(guān)數(shù)據(jù)庫優(yōu)化軟件有較強訴求
相比傳統(tǒng)商業(yè)數(shù)據(jù)庫,分布式數(shù)據(jù)庫相對較新,金融企業(yè)在分布式數(shù)據(jù)庫方面的自有運維支持能力有待進一步提高。所以,為了降低運維復雜度,金融企業(yè)對供應(yīng)商提供相關(guān)圖形化的數(shù)據(jù)庫優(yōu)化軟件或工具有較強的訴求。
用戶滿意度:OceanBase第一
具體到供應(yīng)商滿意度,OceanBase以7.65分滿意度排名第一, PingCAP以7.55分排名第二,華為云GaussDB以7.27排名第三。
通過對選用(或者試用)OceanBase的用戶進一步調(diào)查得知,OceanBase相比其它開源數(shù)據(jù)庫,具備技術(shù)領(lǐng)先性的優(yōu)勢,技術(shù)領(lǐng)先性主要在于功能和性能,雙十一和TPC-C打榜是最有力的證明,并且支持MySQL和Oracle、Paxos協(xié)議、生態(tài)工具等。
安全性,OceanBase滿足行業(yè)規(guī)范,如支持私有化部署,支持多中心多副本架構(gòu)滿足容災(zāi)高可用需求。
服務(wù)方面,OceanBase有較為完善的產(chǎn)品服務(wù)體系,尤其在某些方面表現(xiàn)突出,多位受訪者表示其解決問題時效比較快。
供應(yīng)商推薦度:PingCAP第一
在供應(yīng)商推薦度方面,PingCAP以7.86分排名榜首,騰訊云TDSQL以7.12分排名第二,OceanBase以7分排名第三。
通過對選用(或者試用)TiDB的金融行業(yè)用戶的進一步調(diào)查得知,TiDB原生分布式架構(gòu)適用于海量數(shù)據(jù)規(guī)模的OLTP和混合負載業(yè)務(wù),對MySQL高度兼容,相較于分庫分表方案,對業(yè)務(wù)無侵入,在線 DDL 對敏態(tài)業(yè)務(wù)開發(fā)友好。TiDB 5.0 版本引入MPP模式,支持函數(shù)和算子下推, HTAP引擎可以提供更加強勁的算力,目前已在銀行、證券等金融機構(gòu)的實時數(shù)倉、風控、營銷和數(shù)據(jù)中臺等場景中得到落地應(yīng)用。
不過,對于金融用戶而言,之所以更愿意推薦TiDB,就是 TiDB 是一個開源的項目,而且社區(qū)很活躍,版本迭代快速。一方面,對于企業(yè)用戶而言,企業(yè)的技術(shù)團隊可以方便地深入到數(shù)據(jù)庫核心代碼的開發(fā)中,有利于對數(shù)據(jù)庫平臺的后期深度的運營開發(fā)維護。另一方面,一旦有疑難問題時,可以向社區(qū)求助,通過社區(qū)平臺解決問題,從而降低可能產(chǎn)生的服務(wù)支持費用。
數(shù)據(jù)來源:ITPUB & IT168
調(diào)研時間:2021年5月-12月
發(fā)布時間:2021.12
出品:ITPUB