云計(jì)算是信息技術(shù)發(fā)展和信息社會(huì)需求到達(dá)一定階段的必然結(jié)果。云計(jì)算技術(shù)的創(chuàng)新帶動(dòng)了新的商業(yè)模式的成功,對(duì)現(xiàn)有電子信息產(chǎn)業(yè)及應(yīng)用模式產(chǎn)生了巨大的震動(dòng),有著深遠(yuǎn)的影響.iDC預(yù)測(cè),未來3年全球云計(jì)算領(lǐng)域?qū)⒂?000億美元的新業(yè)務(wù)收入。整個(gè)“十二五”期間,我國(guó)云計(jì)算領(lǐng)域的產(chǎn)業(yè)規(guī)模預(yù)計(jì)可達(dá)7500~10000億元人民幣。目前,全球各大IT廠商正競(jìng)相進(jìn)入云計(jì)算領(lǐng)域,以占據(jù)新一代信息技術(shù)的制高點(diǎn)。
云計(jì)算需避免兩大誤區(qū)
在政府和業(yè)界的雙重推動(dòng)下,云計(jì)算已經(jīng)變得炙手可熱,成為新興產(chǎn)業(yè)中最熱門的領(lǐng)域。這說明云計(jì)算已經(jīng)從“不知所云”到深入人心,同時(shí)也存在隱憂和困擾。其中的問題主要體現(xiàn)在兩個(gè)方面:
一方面是對(duì)于“云泡沫”的擔(dān)憂。據(jù)有關(guān)調(diào)查,很多地方投巨資建成了所謂的“云”系統(tǒng),但資源利用率卻不足20%,云計(jì)算中心成了形象工程,甚至成了變相的商業(yè)地產(chǎn)項(xiàng)目。云計(jì)算本身是一種綠色計(jì)算,不是比規(guī)模、比設(shè)備、比廠房,發(fā)展云計(jì)算不能變成簡(jiǎn)單的圈錢圈地,而要盡可能避免重復(fù)建設(shè)和資源浪費(fèi),將云計(jì)算產(chǎn)業(yè)落到實(shí)處,讓消費(fèi)者受益于云計(jì)算。因此,云計(jì)算的創(chuàng)新應(yīng)用,是云計(jì)算產(chǎn)業(yè)健康發(fā)展的試金石。
另一方面是云計(jì)算被作為萬能包裝過度渲染,仿佛什么都可以云化,在互聯(lián)網(wǎng)上什么都是云計(jì)算,以至于消費(fèi)者和投資者常常困擾于對(duì)真“云”和假“云”的辨別。云計(jì)算的本質(zhì)特征是什么?首先,云計(jì)算是一種基于互聯(lián)網(wǎng)、大眾參與的計(jì)算模式,云計(jì)算的基本應(yīng)用場(chǎng)景應(yīng)該直接面向互聯(lián)網(wǎng),所需要的資源不在客戶端而是來自網(wǎng)絡(luò),即通過網(wǎng)絡(luò)提供企業(yè)和個(gè)人所需要的計(jì)算力、存儲(chǔ)空間、軟件功能和信息服務(wù)等;其次,云計(jì)算的服務(wù)一定具有較高的可伸縮能力,云計(jì)算的服務(wù)資源能夠隨著應(yīng)用需求自動(dòng)地動(dòng)態(tài)調(diào)整,既能夠在幾分鐘甚至數(shù)秒之內(nèi),自動(dòng)地增加服務(wù)資源的數(shù)量、提升服務(wù)能力來應(yīng)對(duì)網(wǎng)絡(luò)的尖峰流量,又能隨著應(yīng)用的減少,動(dòng)態(tài)減少服務(wù)資源。
云計(jì)算支撐大數(shù)據(jù)發(fā)展
大數(shù)據(jù)(Big Data)這個(gè)概念近年來在越來越多的場(chǎng)合被越來越多的人提及,并且經(jīng)常是和云計(jì)算聯(lián)系在一起。大數(shù)據(jù)無疑將給人類社會(huì)帶來巨大的價(jià)值,科研機(jī)構(gòu)可以通過大數(shù)據(jù)業(yè)務(wù)協(xié)助進(jìn)行研究探索,如環(huán)境、資源、能源、氣象、航天、生命等領(lǐng)域的探索。那么云計(jì)算和大數(shù)據(jù)之間到底是什么關(guān)系呢?概括而言,沒有互聯(lián)網(wǎng)就沒有云計(jì)算模式,沒有云計(jì)算模式就沒有大數(shù)據(jù)處理技術(shù)。
然而,云計(jì)算環(huán)境同樣對(duì)大數(shù)據(jù)處理技術(shù)提出了新的挑戰(zhàn),這主要反映在傳統(tǒng)的關(guān)系數(shù)據(jù)庫(kù)不能滿足大數(shù)據(jù)處理的要求,比如海量用戶的高并發(fā)讀寫、海量數(shù)據(jù)的高效存儲(chǔ)和訪問、系統(tǒng)的高可用性和高擴(kuò)展性等。為此,業(yè)界一些廠商先后研發(fā)了一批包含分布式數(shù)據(jù)緩存、分布式文件系統(tǒng)、非關(guān)系型數(shù)據(jù)庫(kù)和新關(guān)系型數(shù)據(jù)庫(kù)等新技術(shù)來解決上述問題。
同樣,由于海量數(shù)據(jù)的大數(shù)據(jù)量和分布性的特點(diǎn),使得傳統(tǒng)的數(shù)據(jù)處理技術(shù)不適合于處理海量數(shù)據(jù)。這對(duì)海量數(shù)據(jù)的分布式并行處理技術(shù)提出了新的挑戰(zhàn),開始出現(xiàn)以MapReduce為代表的一系列新處理技術(shù),像數(shù)據(jù)并行處理技術(shù)、增量處理技術(shù)、流式計(jì)算技術(shù)等。
云計(jì)算時(shí)代會(huì)有更多的數(shù)據(jù)存儲(chǔ)于計(jì)算中心。數(shù)據(jù)是資產(chǎn),云是數(shù)據(jù)資產(chǎn)保管的場(chǎng)所和訪問的渠道。大數(shù)據(jù)的處理和分析必須依靠云計(jì)算提供計(jì)算環(huán)境和能力,挖掘出適合于特定場(chǎng)景和主題的有效數(shù)據(jù)集。比如,《紐約時(shí)報(bào)》用云計(jì)算轉(zhuǎn)換了1851年到1922年超過40萬張掃描的圖片,通過把任務(wù)分配給幾百臺(tái)電腦,這項(xiàng)工作在36個(gè)小時(shí)內(nèi)就完成了;信用卡公司Visa計(jì)算兩年的紀(jì)錄,包括730億筆交易、高達(dá)36TB的數(shù)據(jù),處理時(shí)間用傳統(tǒng)方法需要1個(gè)月,而采用基于Hadoop的處理技術(shù)只要13分鐘。
挖掘數(shù)據(jù)背后的價(jià)值
在互聯(lián)網(wǎng)時(shí)代,特別是進(jìn)入移動(dòng)互聯(lián)網(wǎng)時(shí)代后,人們只有通過數(shù)據(jù)挖掘才能從海量的低價(jià)值密度的數(shù)據(jù)中發(fā)現(xiàn)其潛在價(jià)值。移動(dòng)互聯(lián)網(wǎng)時(shí)代的大數(shù)據(jù)挖掘,主要是網(wǎng)絡(luò)環(huán)境下的非結(jié)構(gòu)化數(shù)據(jù)挖掘,這些數(shù)據(jù)形態(tài)反映是鮮活的、碎片化的、異構(gòu)的原生態(tài)數(shù)據(jù)。這種非結(jié)構(gòu)化數(shù)據(jù)有什么特點(diǎn)呢?它常常是低價(jià)值、異構(gòu)、冗余的數(shù)據(jù),甚至有部分?jǐn)?shù)據(jù)放在存儲(chǔ)器里沒再用過。與此同時(shí),數(shù)據(jù)挖掘關(guān)注的對(duì)象也發(fā)生了很大改變,挖掘關(guān)注的首先是小眾,只有先滿足小眾挖掘的需求,才談得上滿足由更多小眾組成的大眾的需求,因此移動(dòng)互聯(lián)網(wǎng)時(shí)代數(shù)據(jù)挖掘的一個(gè)重要思想,就是“由下而上”勝過“由上而下”的頂層設(shè)計(jì),強(qiáng)調(diào)挖掘數(shù)據(jù)的真實(shí)性、及時(shí)性,要發(fā)現(xiàn)關(guān)聯(lián)、發(fā)現(xiàn)異常、發(fā)現(xiàn)趨勢(shì),并最終發(fā)現(xiàn)價(jià)值。
事實(shí)上,互聯(lián)網(wǎng)上交互的大眾,不僅在享受服務(wù),也在提供信息。公眾的在線行為已經(jīng)不能僅僅用瀏覽、搜索或挖掘來表征,正在演化為迅速地創(chuàng)造內(nèi)容,涌現(xiàn)出群體智能。小眾的局部積聚特性又可以形成較大范圍的“大眾”特性,小眾成為大眾的基礎(chǔ)。對(duì)公眾、大眾和小眾的認(rèn)識(shí)為我們認(rèn)知人類在不同尺度上的所謂微觀、中觀或者宏觀的群體行為,為認(rèn)知群體中的競(jìng)爭(zhēng)與協(xié)作提供了機(jī)會(huì)。因此人們?cè)谶M(jìn)行數(shù)據(jù)挖掘的過程中要注重網(wǎng)絡(luò)化大數(shù)據(jù)挖掘的方法,也即社區(qū)與社區(qū)發(fā)現(xiàn)。例如,無線T恤公司(Threadless)是一個(gè)在線T恤零售商兼創(chuàng)作聚落,該網(wǎng)站透過用戶設(shè)計(jì)及用戶投票選出得票最高的T恤,讓使用者能夠分享自行設(shè)計(jì)的T恤圖案的同時(shí),也讓獲勝者得到一定的酬金.threadless已經(jīng)成為商業(yè)和社區(qū)模式雙贏的典范,每周都能收到800多個(gè)新的設(shè)計(jì)方案,每天有超過1000名新注冊(cè)用戶來進(jìn)行設(shè)計(jì)和藝術(shù)方面的討論,并根據(jù)設(shè)計(jì)方案所激發(fā)的靈感提交配套的音樂和視頻。
今天,互聯(lián)網(wǎng)帶寬正以每6個(gè)月翻一番的速度在發(fā)展,它比每9個(gè)月翻一番的存儲(chǔ)發(fā)展速度和每18個(gè)月翻一番的計(jì)算發(fā)展速度都要快,帶寬的迅猛發(fā)展讓人類進(jìn)入了交互時(shí)代,而交互又帶動(dòng)著計(jì)算和存儲(chǔ)加速前進(jìn)。
大數(shù)據(jù)標(biāo)志一個(gè)新時(shí)代的到來,這個(gè)時(shí)代的特征不只是追求豐富的物質(zhì)資源,也不只是無所不在的互聯(lián)網(wǎng)帶來方便的多樣化的信息服務(wù),同時(shí)還包含區(qū)別于物質(zhì)的數(shù)據(jù)資源的價(jià)值挖掘,以及價(jià)值轉(zhuǎn)換等等。而大數(shù)據(jù)也將在云計(jì)算技術(shù)等的支撐下發(fā)掘出更多的價(jià)值。