用友云分析服務(wù)近期針對(duì)企業(yè)數(shù)據(jù)分析的關(guān)鍵技術(shù)及應(yīng)用場(chǎng)景等推出了《分析云技術(shù)白皮書(shū)》，希望能幫助企業(yè)走出數(shù)據(jù)分析的盲區(qū)，實(shí)現(xiàn)數(shù)字經(jīng)濟(jì)時(shí)代的數(shù)據(jù)化管理與運(yùn)營(yíng)。我們將白皮書(shū)中的精彩內(nèi)容進(jìn)行總結(jié)，會(huì)分期與大家分享。本期重點(diǎn)分享數(shù)據(jù)分析所面臨的技術(shù)挑戰(zhàn)以及解決之道。如需完整白皮書(shū)，可通過(guò)文章末尾聯(lián)系方式索取。

　　從企業(yè)對(duì)大數(shù)據(jù)分析系統(tǒng)的需求和利用的實(shí)際情況來(lái)看，讓企業(yè)每個(gè)業(yè)務(wù)人員充分了解和利用他們的數(shù)據(jù)，自由釋放數(shù)據(jù)潛能。基本上，企業(yè)對(duì)數(shù)據(jù)的需求我們認(rèn)為分為三個(gè)階段：初級(jí)階段，業(yè)務(wù)流程通過(guò)信息化手段，從紙質(zhì)化改造成電子化，企業(yè)通過(guò)數(shù)據(jù)告訴管理者，企業(yè)已經(jīng)發(fā)生了什么？中級(jí)階段，企業(yè)已經(jīng)建立和完整的業(yè)務(wù)系統(tǒng)，管理者能夠定期從信息中獲取他所關(guān)心的企業(yè)數(shù)據(jù)，知道了企業(yè)正在發(fā)生了什么？高級(jí)階段，企業(yè)不僅僅只是希望知道過(guò)去發(fā)生了什么以及為什么發(fā)生，還希望進(jìn)一步預(yù)測(cè)未來(lái)會(huì)發(fā)生什么，以及如何做才能最大化優(yōu)化資源配置，取得更好的成果。

　　在日新月異且喜新厭舊的技術(shù)時(shí)代，企業(yè)已經(jīng)認(rèn)識(shí)到“數(shù)據(jù) 開(kāi)始慢慢變成為了新的 “金子” 或者 “石油”，那么企業(yè)在數(shù)字化轉(zhuǎn)型的浪潮中，如何通過(guò)大數(shù)據(jù)、云計(jì)算等先進(jìn)的技術(shù)保駕護(hù)航？企業(yè)數(shù)據(jù)量從GB級(jí)增長(zhǎng)到TB級(jí)，應(yīng)用如何平滑演進(jìn)？從數(shù)據(jù)倉(cāng)庫(kù)，到數(shù)據(jù)湖、數(shù)據(jù)共享平臺(tái)，企業(yè)如何高效利用數(shù)字資產(chǎn)？這些都是企業(yè)在數(shù)字化轉(zhuǎn)型過(guò)程中面臨的問(wèn)題。

　　我們可以發(fā)現(xiàn)現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在著一定的缺陷。

　　早期應(yīng)用的數(shù)據(jù)系統(tǒng)架構(gòu)設(shè)計(jì)時(shí)，應(yīng)用直接訪問(wèn)數(shù)據(jù)庫(kù)系統(tǒng)，簡(jiǎn)單的存取數(shù)據(jù)就可以滿足業(yè)務(wù)需求。但是，當(dāng)用戶訪問(wèn)量增加或是數(shù)據(jù)量不斷增大時(shí)，從而導(dǎo)致數(shù)據(jù)庫(kù)服務(wù)器無(wú)法及時(shí)響應(yīng)用戶請(qǐng)求，出現(xiàn)超時(shí)的錯(cuò)誤。

　　當(dāng)數(shù)據(jù)訪問(wèn)負(fù)載持續(xù)增加時(shí)，就需要考慮讀寫(xiě)分離技術(shù)（Master－Slave）架構(gòu)，以及分庫(kù)分表技術(shù)。但讀寫(xiě)分離和分庫(kù)分表帶來(lái)了應(yīng)用層面的復(fù)雜性，應(yīng)用程序需要在設(shè)計(jì)開(kāi)發(fā)階段就考慮到數(shù)據(jù)的拆分。分庫(kù)分表后，不僅限制了查詢的靈活性，并且隨著數(shù)據(jù)量繼續(xù)增長(zhǎng)到PB級(jí)，單個(gè)數(shù)據(jù)庫(kù)實(shí)例的處理能力最終會(huì)成為整個(gè)系統(tǒng)的性能瓶頸。

　　當(dāng)基于分布式存儲(chǔ)計(jì)算的大數(shù)據(jù)處理技術(shù)出現(xiàn)后，我們所面對(duì)的則是來(lái)自離線和在線的多個(gè)不同數(shù)據(jù)流，系統(tǒng)需要實(shí)時(shí)響應(yīng)數(shù)據(jù)查詢請(qǐng)求，還需要處理分布式系統(tǒng)的分區(qū)和復(fù)制問(wèn)題，以及滿足高容錯(cuò)、低延時(shí)和可擴(kuò)展的要求，于是就有了lambda架構(gòu)，但其也存在著不足之處：整體架構(gòu)比較復(fù)雜，資源開(kāi)銷比較大，對(duì)軟硬件的需求較高；很多分析場(chǎng)景實(shí)現(xiàn)困難，增加了應(yīng)用開(kāi)發(fā)難度；數(shù)據(jù)流水線較長(zhǎng)，系統(tǒng)運(yùn)維復(fù)雜。

　　通過(guò)以上可以發(fā)現(xiàn)，現(xiàn)有的數(shù)據(jù)處理技術(shù)都存在一定缺陷，在面對(duì)今天日益復(fù)雜的企業(yè)大數(shù)據(jù)分析需求時(shí)顯得力不從心，如何采用最新的架構(gòu)技術(shù)來(lái)解決這些問(wèn)題，這也是數(shù)據(jù)分析廠商所必須面對(duì)的挑戰(zhàn)。

　　經(jīng)過(guò)超過(guò)10年的技術(shù)積累，用友擁有強(qiáng)大的底層技術(shù)和基礎(chǔ)架構(gòu)，支撐了幾百萬(wàn)家企業(yè)的信息化發(fā)展。隨著大數(shù)據(jù)云計(jì)算技術(shù)的發(fā)展，伴隨著用友客戶們業(yè)務(wù)的高速成長(zhǎng)，用友數(shù)據(jù)分析產(chǎn)品線也經(jīng)歷著創(chuàng)新和變革。

　　用友在2016年已經(jīng)將底層數(shù)據(jù)處理技術(shù)全部換到了最先進(jìn)的分布式計(jì)算系統(tǒng)，真正系統(tǒng)自動(dòng)地進(jìn)行分布式的調(diào)度。從2017年開(kāi)始，用友全面轉(zhuǎn)向云戰(zhàn)略，在基礎(chǔ)架構(gòu)技術(shù)的投入加速，用友云分析服務(wù)，真正做到高性能高可靠性的分析系統(tǒng)。

　　用友云分析服務(wù)基于最新的大數(shù)據(jù)技術(shù)Kudu，可以在不犧牲可靠性的前提下，大大減少分析系統(tǒng)的復(fù)雜性。作為全新的大數(shù)據(jù)平臺(tái)，Kudu結(jié)合了OLTP和OLAP系統(tǒng)的優(yōu)點(diǎn)，在單一系統(tǒng)上同時(shí)提供高性能的數(shù)據(jù)查詢分析和數(shù)據(jù)更新能力。通過(guò)創(chuàng)新架構(gòu)設(shè)計(jì)帶來(lái)的優(yōu)勢(shì)，節(jié)省了不必要的額外系統(tǒng)開(kāi)支，還可以在企業(yè)期望的價(jià)格點(diǎn)上提供實(shí)時(shí)數(shù)據(jù)分析功能，而無(wú)需理解開(kāi)源產(chǎn)品帶來(lái)的架構(gòu)復(fù)雜性或綁定特定廠商專有的昂貴軟硬件設(shè)備。

　　用友云分析服務(wù)的架構(gòu)可以分為數(shù)據(jù)采集層、數(shù)據(jù)持久化層、數(shù)據(jù)處理層、數(shù)據(jù)挖掘?qū)�、�?shù)據(jù)應(yīng)用層，以及系統(tǒng)運(yùn)維層。目前用友云分析服務(wù)可以支持主流的公有云，資源池化后的私有云，以及物理服務(wù)器，針對(duì)較新的硬件設(shè)備進(jìn)行了優(yōu)化，所以要求CPU（或虛擬化層）必須支持SSSE3 和SSE4.2指令集。

　　數(shù)字化時(shí)代的到來(lái)使得企業(yè)的決策面臨前所未有的復(fù)雜度。企業(yè)數(shù)據(jù)相互連接，不同數(shù)據(jù)都在其中，數(shù)字經(jīng)濟(jì)的背后其實(shí)是一種決策型經(jīng)濟(jì)，誰(shuí)能夠最快最有效地對(duì)數(shù)據(jù)進(jìn)行分析，最快產(chǎn)生決策，誰(shuí)就能更快地進(jìn)行企業(yè)數(shù)字化轉(zhuǎn)型。用友分析云為你提供一個(gè)“獨(dú)一而二”的全分析服務(wù)。