數(shù)據(jù)中心需不需要操作系統(tǒng)
胡楊 編譯 2011/06/20
PC有操作系統(tǒng)。甚至手機也有操作系統(tǒng)。為什么數(shù)據(jù)中心沒有一個操作系統(tǒng)?
當然，制作一個能夠處理數(shù)據(jù)中心全部資源的操作系統(tǒng)要比制作一個允許一臺設(shè)備運行應用程序的操作系統(tǒng)困難得多。數(shù)據(jù)中心有IT專業(yè)人員團隊來保證所有的服務器運行和保證應用程序有足夠的存儲等等。但是，這個工作量很大，以至于有必要推出一個更昂貴的能夠處理整個數(shù)據(jù)中心事務的操作系統(tǒng)。
這是加州大學伯克利分校博士生Matei Zaharia本星期在俄勒岡州波特蘭舉行的Usenix年度技術(shù)會議上發(fā)表的觀點。
他不是第一個提議為計算系統(tǒng)集群制作一個操作系統(tǒng)的人。但是，他認為這個需要變得越來越迫切，因為應用程序和用戶、編程框架和存儲系統(tǒng)越來越多樣化。
數(shù)據(jù)中心操作系統(tǒng)能夠把所有這些集中在一個管理平臺并且提供資源共享、數(shù)據(jù)共享、編程抽象和調(diào)試。
Zaharia稱，我們開發(fā)時間共享和計算機操作系統(tǒng)也是出于同樣的原因。
一位聽眾成員指出，為計算機集群制造操作系統(tǒng)的想法已經(jīng)出現(xiàn)幾十年。他駁斥了Zaharia把它稱作一個新的想法和為什么現(xiàn)在會取勝的觀點。
Zaharia認為，早期版本的數(shù)據(jù)中心操作系統(tǒng)已經(jīng)在制作。他指出，谷歌已經(jīng)在使用高級的技術(shù)運行其數(shù)據(jù)中心。這個技術(shù)還沒有完全向大眾公開。谷歌的軟件棧就像是按照操作系統(tǒng)式的思路設(shè)計的。
Zaharia和他的同事在一篇題為“數(shù)據(jù)中心需要一個操作系統(tǒng)”的論文中解釋了他們的想法。在Usenix網(wǎng)站上可以看到這篇論文。
這篇論文稱，數(shù)據(jù)中心已經(jīng)托管了許多種類的應用程序(存儲系統(tǒng)、網(wǎng)絡(luò)應用、長期運行的服務和批量分析)，隨著新的集群編程框架的開發(fā)，我們預計應用程序的數(shù)量還將增長。例如，谷歌已經(jīng)利用Pregel (一種用于圖片應用的特殊框架)、Dremel (一種用于交互式數(shù)據(jù)挖掘的低延遲系統(tǒng))和Percolator (一種增量索引系統(tǒng))來增強其MapReduce框架。同時，計算機集群用戶數(shù)量正在增長。例如，F(xiàn)acebook的Hadoop數(shù)據(jù)庫處理數(shù)百個用戶的幾乎同時互動的SQL查詢。因此，數(shù)據(jù)中心操作人員能夠在一個應用程序的用戶與多個應用程序之間有效地反復利用資源是非常重要的。
Zaharia沒有說他們已經(jīng)制作了一個數(shù)據(jù)中心操作系統(tǒng)。但是，他說，他的團隊已采取初步的步驟，設(shè)計了一個名為“Mesos”計算機集群管理器，可在應用程序之間實現(xiàn)精確的共享。
仍需要解答的一些問題包括如果制作標準化的節(jié)目、如何處理流數(shù)據(jù)和保障存儲性能。
但是，Zaharia認為包括谷歌、亞馬遜和微軟在內(nèi)的許多公司正在解決這些問題。
Zaharia在論文中稱，Hadoop stack、LAMP、亞馬遜的Web服務、Windows Azure和谷歌的GFS/BigTable/ MapReduce等軟件平臺是目前事實上的數(shù)據(jù)中心操作系統(tǒng)。這些平臺將逐步發(fā)展以應對數(shù)據(jù)中心用戶和工作量的多樣性。但是，數(shù)據(jù)中心應用程序仍然很難開發(fā)并且不能容易的相互兼容。
網(wǎng)界網(wǎng)
相關(guān)閱讀: