海量視頻數(shù)據(jù)的存儲和管理

　　維基百科全書的定義：“大數(shù)據(jù)是飛速增長的，用現(xiàn)有數(shù)據(jù)庫管理工具難以管理的數(shù)據(jù)集合”。這些數(shù)據(jù)包括：社交媒體、移動設(shè)備、科學(xué)計算和城市中部署的各類傳感器等等，其中視頻又是構(gòu)成數(shù)據(jù)體量最大的一部分。

　　據(jù)IMS Research統(tǒng)計，2011年全球攝像頭的出貨量達(dá)到2646萬臺，預(yù)計到2015年攝像頭出貨量達(dá)5454萬臺。僅僅視頻監(jiān)控錄像而言，每天的數(shù)據(jù)量就達(dá)上千PB，累計的歷史數(shù)據(jù)將更為龐大，在視頻監(jiān)控大聯(lián)網(wǎng)、高清化推動下，視頻監(jiān)控業(yè)務(wù)步入數(shù)據(jù)的井噴時代。

　　“大數(shù)據(jù)或稱巨量數(shù)據(jù)、海量數(shù)據(jù)、大資料，指的是所涉及的數(shù)據(jù)量規(guī)模巨大到無法通過人工，在合理時間內(nèi)達(dá)到截取、管理、處理、并整理成為人類所能解讀的信息。”維基百科對大數(shù)據(jù)的定義將大數(shù)據(jù)的特點闡釋得非常清晰： “海量”和“非結(jié)構(gòu)化”。

　　海量

　　IDC研究表明，2012年的數(shù)據(jù)存儲總量約為2.8ZB，2020年數(shù)據(jù)存儲量約為40ZB（1ZB=1億TB）。數(shù)據(jù)量正在以 55% 的速度逐年增長。全世界粗略估計有至少有2億個攝像頭在角落里靜靜的看著我們。

　　非結(jié)構(gòu)化

　　與通常講的Oracle、SQL這類傳統(tǒng)的數(shù)據(jù)中心級的結(jié)構(gòu)化數(shù)據(jù)不同，視頻監(jiān)控業(yè)務(wù)產(chǎn)生的數(shù)據(jù)絕大多數(shù)以非結(jié)構(gòu)化的數(shù)據(jù)為主，信息呈現(xiàn)上為松耦合的關(guān)系，這給傳統(tǒng)的數(shù)據(jù)管理和使用機(jī)制帶來了極大的挑戰(zhàn)。

　　大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息，而在于對這些含有意義的數(shù)據(jù)進(jìn)行專業(yè)化處理。換言之，如果把大數(shù)據(jù)比作一種產(chǎn)業(yè)，那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵，在于如何讓數(shù)據(jù)會“說話”。如何將海量的數(shù)據(jù)變成落地民生，進(jìn)行商業(yè)趨勢、判定研究質(zhì)量、避免疾病擴(kuò)散、打擊犯罪或測定實時交通路況正是“大數(shù)據(jù)”盛行的本質(zhì)。

　　圍繞大數(shù)據(jù)的命題，經(jīng)過采集后的視頻數(shù)據(jù)通過創(chuàng)建數(shù)據(jù)倉庫，進(jìn)行數(shù)據(jù)的分析和挖掘，最終進(jìn)行可視化的呈現(xiàn)，就是大數(shù)據(jù)的衍變過程。在大數(shù)據(jù)的發(fā)展趨勢下，對海量視頻監(jiān)控數(shù)據(jù)的存儲和管理是當(dāng)下各大廠商積極探索的命題之一。

　　海量視頻數(shù)據(jù)的存儲和管理

　　視頻數(shù)據(jù)的爆炸式增長，意味著需要投入更多的資源以及付出更多的努力，才能在這些體量龐大的數(shù)據(jù)中尋找到有價值的信息。目前各大廠商也發(fā)現(xiàn)單個節(jié)點的存儲設(shè)備無法適應(yīng)海量的視頻監(jiān)控數(shù)據(jù)的管理需求，其發(fā)展沒能跟上數(shù)據(jù)增長的速度。其實不難發(fā)現(xiàn)，視頻監(jiān)控數(shù)據(jù)和傳統(tǒng)的數(shù)據(jù)中心的結(jié)構(gòu)化數(shù)據(jù)的業(yè)務(wù)模型相差較大：

　　恒定碼流的高并發(fā)寫入

　　視頻監(jiān)控數(shù)據(jù)具有高并發(fā)、大容量的特點。以1080P為例，在4Mbps的碼率下，中等城市的監(jiān)控規(guī)模一般為數(shù)千到數(shù)萬攝像頭，按5000路計算，并發(fā)寫入碼流為5000路*4Mbps *24小時*60分鐘*60秒 ;

　　大容量

　　根據(jù)公安部要求錄像數(shù)據(jù)在系統(tǒng)中保存30天以上。中等城市的存儲容量為：5000路*4Mbps *24小時*60分鐘*60秒*30天；

　　高可靠

　　視頻監(jiān)控存儲系統(tǒng)7*24小時不間斷的高壓力寫入的同時，還必須具有高級別的容錯性，存儲等硬盤類介質(zhì)屬于電子產(chǎn)品，電子產(chǎn)品或多或少都存在軟件或硬件的bug，高壓力下的硬盤故障率也會比較高，如果保障故障發(fā)生時不造成監(jiān)控數(shù)據(jù)的丟失，是視頻監(jiān)控存儲管理的重要命題。

　　在線升級擴(kuò)容

　　由于視頻監(jiān)控項目本身在不斷發(fā)展，系統(tǒng)定期會進(jìn)行在線擴(kuò)容和升級，這就要求存儲系統(tǒng)具有高度的可擴(kuò)展性，可在系統(tǒng)中簡單便捷地增添存儲設(shè)備。

　　信息價值

　　海量數(shù)據(jù)和有效數(shù)據(jù)之間的矛盾。攝像頭7*24小時工作，如實記錄鏡頭覆蓋范圍的發(fā)生的一切，僅僅記錄信息是不夠的，因為對于客戶來講可能大部分信息是無效，有效信息可能只分布在一個較短的時間段內(nèi)，按照數(shù)學(xué)統(tǒng)計的說法，信息是呈現(xiàn)冪律分布的，也稱之為信息的密度，通常在最短的時間內(nèi)提供的數(shù)據(jù)有效性越高，對客戶價值越大。

　　有效信息提�。ㄓ嬎悖�

　　在視頻監(jiān)控領(lǐng)域，往往視頻分析的效率決定價值，更低的延遲、更準(zhǔn)確的分析往往是平安城市這類客戶的普遍需求。隨著數(shù)據(jù)量的增加，哪怕對TB級別的數(shù)據(jù)進(jìn)行對視頻內(nèi)容的數(shù)據(jù)分析和檢索，采用串行計算的模式都可能需要花費(fèi)數(shù)小時的計算，已遠(yuǎn)遠(yuǎn)不能勝任時效性的需求。大數(shù)據(jù)架構(gòu)下的存儲系統(tǒng)還需要考慮后續(xù)的計算模式的匹配。

　　視頻文件存儲幾大問題

　　視頻文件目前絕大多數(shù)的系統(tǒng)都是采用文件系統(tǒng)的方式進(jìn)行音視頻數(shù)據(jù)的存儲。文件系統(tǒng)有幾個最大的問題：

　　· 存儲設(shè)備管理接口不統(tǒng)一

　　· 存儲資源的管理及分配制度

　　· 以文件系統(tǒng)為核心的數(shù)據(jù)存儲方式

　　1） 文件系統(tǒng)易損壞，寫文件會導(dǎo)致文件系統(tǒng)元數(shù)據(jù)區(qū)的頻繁持續(xù)更新，因此文件系統(tǒng)的元數(shù)據(jù)區(qū)很容易損壞，導(dǎo)致文件系統(tǒng)不可用。

　　2） 性能問題：文件系統(tǒng)經(jīng)IO過操作系統(tǒng)的封裝，在數(shù)據(jù)長時期持續(xù)寫入的情況下，開銷要大于直接裸盤寫入，降低性能。在磁盤上存在大量錄像文件時，系統(tǒng)的錄像檢索效率會下降很多。另外，磁盤上的大量文件在多次刪除重建后，數(shù)據(jù)在物理磁盤上的位置將變成不連續(xù)，導(dǎo)致數(shù)據(jù)寫入的隨機(jī)性加大，從而降低錄像數(shù)據(jù)的寫入性能。

　　視頻存儲作為圖像數(shù)據(jù)和報警事件記錄的基礎(chǔ)載體，重要性是不言而喻的，存儲的需求已不僅是一臺或幾臺設(shè)備而已，而已提升到了一個解決方案平臺的高度。大容量、高并發(fā)的視頻監(jiān)控存儲系統(tǒng)并不是存儲設(shè)備的簡單堆積，更需要解決監(jiān)控業(yè)務(wù)特色的存儲機(jī)制的完備性、存儲標(biāo)準(zhǔn)以及在時間（存儲數(shù)據(jù)處理速度）和空間（存儲容量）上的可使用性等問題上滿足大容量、高并發(fā)等大數(shù)據(jù)應(yīng)用架構(gòu)下的監(jiān)控存儲系統(tǒng)的要求。

　　“云存儲”有許多的定義，大家公認(rèn)的基本功能有：按需自動服務(wù)、資源池、快速靈活、廣泛的網(wǎng)絡(luò)接入等。云存儲是通過網(wǎng)絡(luò)提供的可配置虛擬化存儲和相關(guān)數(shù)據(jù)服務(wù)，這個服務(wù)級別是可以按需要來保證的。云存儲的第一個涵義是網(wǎng)絡(luò)，早期通過云的圖示表示網(wǎng)絡(luò)，這是云存儲的由來。“云存儲”實際上借助了網(wǎng)絡(luò)的概念，所以涵括了部分網(wǎng)絡(luò)在內(nèi)；另一個含義就是它的服務(wù)，虛擬化存儲，提供存儲池，屏蔽單臺存儲設(shè)備的所有細(xì)節(jié)，提供傳統(tǒng)的存儲很難做到按需服務(wù)。

　　基于裸數(shù)據(jù)塊的視頻云直存虛擬化技術(shù)

　　虛擬化是云存儲的主要特征之一。存儲領(lǐng)域國際權(quán)威機(jī)構(gòu)SNIA（存儲網(wǎng)絡(luò)工業(yè)協(xié)會）給出了存儲虛擬化（Storage Virtualization）的定義：“通過將存儲系統(tǒng)/子系統(tǒng)的內(nèi)部功能從應(yīng)用程序、計算服務(wù)器、網(wǎng)絡(luò)資源中進(jìn)行抽象、隱藏或隔離，實現(xiàn)獨立于應(yīng)用程序、網(wǎng)絡(luò)的存儲與數(shù)據(jù)管理”。存儲虛擬化技術(shù)將底層存儲設(shè)備進(jìn)行抽象化統(tǒng)一管理，向服務(wù)器層屏蔽存儲設(shè)備硬件的特殊性，而只保留其統(tǒng)一的邏輯特性，從而實現(xiàn)了存儲系統(tǒng)的集中、統(tǒng)一、方便的管理。

　　與傳統(tǒng)虛擬化存儲相比，基于“裸數(shù)據(jù)塊”的虛擬化存儲化技術(shù)，不僅繼承了“磁盤利用率高” 和“管理方便”的特點，還能將文件系統(tǒng)的風(fēng)險及碎片問題徹底解決。

　　高磁盤利用率

　　傳統(tǒng)存儲技術(shù)的磁盤利用率一般只有30-70%，而采用虛擬化技術(shù)后的磁盤利用率高達(dá)95%;存儲靈活，可以適應(yīng)不同廠商、不同類別的異構(gòu)存儲平臺，為存儲資源管理提供了更好的靈活性；

　　管理方便

　　管理方便，提供了一個大容量存儲系統(tǒng)集中管理的手段，避免了由于存儲設(shè)備擴(kuò)充所帶來的管理方面的麻煩；性能更好，虛擬化存儲系統(tǒng)可以很好地進(jìn)行負(fù)載均衡，把每一次數(shù)據(jù)訪問所需的帶寬合理地分配到各個存儲模塊上，提高了系統(tǒng)的整體訪問帶寬。

　　無文件碎片及文件系統(tǒng)問題

　　云存儲是炙手可熱的“大數(shù)據(jù)”中組成之一：存儲單元模塊。“大數(shù)據(jù)”中提及富媒體資源指的就是視頻監(jiān)控業(yè)務(wù)產(chǎn)生的大量數(shù)據(jù)，占比巨大的富媒體信息中的載體為存儲設(shè)備和云存儲解決方案。

　　存儲設(shè)備或云存儲解決方案作為視頻監(jiān)控里中結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的載體，橫跨基礎(chǔ)架構(gòu)、內(nèi)容信息三個維度的信息化建設(shè)的基礎(chǔ)。如果將“富”媒體中的視頻信息，從底層的動態(tài)存儲到以事件或物理為索引的信息分析，再到將海量的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化成信息和洞察力，做到真正的“為人所用”，才是大數(shù)據(jù)的真正魅力所在。

　　監(jiān)控特色的數(shù)據(jù)倉庫

　　數(shù)據(jù)倉庫是一個面向主題的、集成的、相對穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。 數(shù)據(jù)倉庫是一個過程而不是一個項目；數(shù)據(jù)倉庫是一個環(huán)境，而不是一件產(chǎn)品。數(shù)據(jù)倉庫提供用戶用于決策支持的當(dāng)前和歷史數(shù)據(jù)，這些數(shù)據(jù)在傳統(tǒng)的操作型數(shù)據(jù)庫中很難或不能得到。

　　監(jiān)控特色的數(shù)據(jù)倉庫技術(shù)是為了有效的把基礎(chǔ)視頻庫中的錄像信息，按照某些特性或邏輯或定義的結(jié)構(gòu)類型，進(jìn)行信息的提取，作為數(shù)據(jù)集成到統(tǒng)一的環(huán)境中以提供決策型數(shù)據(jù)訪問的基礎(chǔ)。目的做的一切都是為了讓用戶更快更方便查詢所需要的信息，提供決策支持

　　傳統(tǒng)的數(shù)據(jù)處理和加工是：從外界存儲取出來數(shù)據(jù)，被應(yīng)用程序或其他系統(tǒng)程序所讀取并計算處理，處理完畢將其放入程序里面，整個業(yè)務(wù)流有多個處理環(huán)節(jié)，要不斷地存儲、讀取、計算、再存儲，其系統(tǒng)的大量時間花費(fèi)在數(shù)據(jù)的遷移上，一旦數(shù)據(jù)量增加，從數(shù)據(jù)向計算遷移的環(huán)節(jié)就肯定“費(fèi)時費(fèi)力”。

　　大數(shù)據(jù)整理架構(gòu)發(fā)展趨勢下，將管理的重點由以前的“設(shè)備”為中心，衍變成以“數(shù)據(jù)”為核心的模式。用戶根據(jù)數(shù)據(jù)具體分布，推送部署計算單元，大大節(jié)省額外的空間計算消耗。

　　數(shù)據(jù)可視化

　　無論是單一的存儲設(shè)備，還是IT或監(jiān)控云存儲的解決方案，其核心都是作為數(shù)據(jù)的載體。任何行為本身都會產(chǎn)生數(shù)據(jù)，視頻監(jiān)控業(yè)務(wù)中每個物體的軌跡、每秒中呈現(xiàn)的數(shù)據(jù)，都是就是大數(shù)據(jù)的最原始雛形，但雛形不等于本質(zhì)，擁有這些軌跡數(shù)據(jù)的本質(zhì)，才能更全面、更清楚的對原始數(shù)據(jù)的認(rèn)知。

　　數(shù)據(jù)可視化技術(shù)的基本思想是將數(shù)據(jù)庫中每一個數(shù)據(jù)項作為單個圖元元素表示，大量的數(shù)據(jù)集構(gòu)成數(shù)據(jù)圖像，同時將數(shù)據(jù)的各個屬性值以多維數(shù)據(jù)的形式表示，可以從不同的維度觀察數(shù)據(jù)，從而對數(shù)據(jù)進(jìn)行更深入的觀察和分析。主要旨在借助于圖形化手段，清晰有效地傳達(dá)與溝通信息。但是，這并不就意味著，數(shù)據(jù)可視化目的為了有效地傳達(dá)“數(shù)據(jù)”的過去狀態(tài)的呈現(xiàn)及未來狀態(tài)的預(yù)測，通過直觀的數(shù)據(jù)傳達(dá)關(guān)鍵的方面與特征，從而實現(xiàn)對于相當(dāng)稀疏而又復(fù)雜的數(shù)據(jù)集的深入洞察。

　　監(jiān)控視頻數(shù)據(jù)可視化依據(jù)數(shù)據(jù)及其內(nèi)在模式和關(guān)系，利用計算機(jī)生成的圖像來獲得深入認(rèn)識和知識。模擬感覺系統(tǒng)的廣闊帶寬來操縱和解釋錯綜復(fù)雜的過程、涉及不同學(xué)科領(lǐng)域的數(shù)據(jù)集以及來源多樣的大型抽象數(shù)據(jù)集合的模擬。

　　監(jiān)控視頻數(shù)據(jù)可視化是大數(shù)據(jù)架構(gòu)下的特征產(chǎn)物之一，通過視頻云存儲作為承載。“可視化”的實現(xiàn)能打破成熟的科學(xué)可視化領(lǐng)域與較年輕的信息可視化領(lǐng)域間的技術(shù)壁壘，同時也是一條鋪滿荊棘的探索之路。