數(shù)據(jù)中心虛擬化成為了趨勢，通過服務(wù)器虛擬化提高資源利用率，同時降低單位能耗。但是，隨著數(shù)據(jù)中心虛擬化程度的不斷提高、虛擬化服務(wù)器規(guī)模的不斷擴(kuò)大，帶來了巨大的管理壓力。這就孕育了云計算誕生的條件。在大規(guī)模虛擬化的基礎(chǔ)上，實現(xiàn)了自動化管理和集中化管理，就是云計算的基本模型。這一點在互聯(lián)網(wǎng)行業(yè)尤其重要。

　　一、 互聯(lián)網(wǎng)云計算對網(wǎng)絡(luò)的需求

　　互聯(lián)網(wǎng)行業(yè)數(shù)據(jù)中心的基本特征就是服務(wù)器的規(guī)模偏大。進(jìn)入云計算時代后，其業(yè)務(wù)特征變得更加復(fù)雜，包括：虛擬化支持、多業(yè)務(wù)承載、資源靈活調(diào)度等（如圖1所示）。與此同時，互聯(lián)網(wǎng)云計算的規(guī)模不但沒有縮減，反而更加龐大。這就給云計算的網(wǎng)絡(luò)帶來了巨大的壓力。

　　圖1. 互聯(lián)網(wǎng)云計算的業(yè)務(wù)特點

　　大容量的MAC表項和ARP表項

　　虛擬化會導(dǎo)致更大的MAC表項。假設(shè)一個互聯(lián)網(wǎng)云計算中心的服務(wù)器有5000臺，按照1:20的比例進(jìn)行虛擬化，則有10萬個虛擬機(jī)。通常每個虛擬機(jī)會配置兩個業(yè)務(wù)網(wǎng)口，這樣這個云計算中心就有20萬個虛擬網(wǎng)口，對應(yīng)的就是需要20萬個MAC地址和IP地址。云計算要求資源靈活調(diào)度，業(yè)務(wù)資源任意遷移。也就是說任意一個虛擬機(jī)可以在整個云計算網(wǎng)絡(luò)中任意遷移。這就要求全網(wǎng)在一個統(tǒng)一的二層網(wǎng)絡(luò)中。全網(wǎng)任意交換機(jī)都有可能學(xué)習(xí)到全網(wǎng)所有的MAC表項。與此對應(yīng)的則是，目前業(yè)界主流的接入交換機(jī)的MAC表項只有32K，基本無法滿足互聯(lián)網(wǎng)云計算的需求。另外，網(wǎng)關(guān)需要記錄全網(wǎng)所有主機(jī)、所有網(wǎng)口的ARP信息。這就需要網(wǎng)關(guān)設(shè)備的有效ARP表項超過20萬。大部分的網(wǎng)關(guān)設(shè)備芯片都不具備這種能力。

　　4K VLAN Trunk問題

　　傳統(tǒng)的大二層網(wǎng)絡(luò)支持任意VLAN的虛擬機(jī)遷移到網(wǎng)絡(luò)的任意位置，一般有兩種方式。方式一：虛擬機(jī)遷移后，通過自動化網(wǎng)絡(luò)管理平臺動態(tài)的在虛擬機(jī)對應(yīng)的所有端口上下發(fā)VLAN配置；同時，還需要動態(tài)刪除遷移前虛擬機(jī)對應(yīng)所有端口上的VLAN配置。這種方式的缺點是實現(xiàn)非常復(fù)雜，同時自動化管理平臺對多廠商設(shè)備還面臨兼容性的問題，所以很難實現(xiàn)。方式二：在云計算網(wǎng)絡(luò)上靜態(tài)配置VLAN，在所有端口上配置VLAN trunk all。這種方式的優(yōu)點是非常簡單，是目前主流的應(yīng)用方式。但這也帶來了巨大的問題：任一VLAN內(nèi)如果出現(xiàn)廣播風(fēng)暴，則全網(wǎng)所有VLAN內(nèi)的虛擬機(jī)都會受到風(fēng)暴影響，出現(xiàn)業(yè)務(wù)中斷。

　　4K VLAN上限問題

　　云計算網(wǎng)絡(luò)中有可能出現(xiàn)多租戶需求。如果租戶及業(yè)務(wù)的數(shù)量規(guī)模超出VLAN的上限（4K），則無法支撐客戶的需求。

　　虛擬機(jī)遷移網(wǎng)絡(luò)依賴問題

　　VM遷移需要在同一個二層域內(nèi)，基于IP子網(wǎng)的區(qū)域劃分限制了二層網(wǎng)絡(luò)連通性的規(guī)模。

　　二、互聯(lián)網(wǎng)云計算網(wǎng)絡(luò)為什么選擇Overlay

　　針對互聯(lián)網(wǎng)云計算對網(wǎng)絡(luò)提出的這些挑戰(zhàn)，H3C選擇了基于VXLAN技術(shù)的Overlay網(wǎng)絡(luò)架構(gòu)來構(gòu)建自己的云計算網(wǎng)絡(luò)解決方案。

　　1. Overlay如何應(yīng)對云計算網(wǎng)絡(luò)的挑戰(zhàn)

　　首先，Overlay的核心是重新構(gòu)建一個邏輯網(wǎng)絡(luò)平面，其技術(shù)手段的關(guān)鍵是采用隧道技術(shù)實現(xiàn)L2oIP的封裝。通過隧道實現(xiàn)各虛擬機(jī)之間的二層直連。這樣網(wǎng)絡(luò)只看見Overlay邊緣節(jié)點的MAC地址，物理網(wǎng)絡(luò)學(xué)習(xí)到的MAC表項非常有限，現(xiàn)有接入交換機(jī)32K的MAC表項足以滿足需求（如圖2所示）。對應(yīng)的Overlay邊緣節(jié)點實現(xiàn)基于會話的地址學(xué)習(xí)機(jī)制，也就是說只學(xué)習(xí)有交互流量的虛擬機(jī)MAC地址。這樣也嚴(yán)格限制了邊緣節(jié)點的地址表項。

　　圖2. Overlay網(wǎng)絡(luò)如何應(yīng)對云計算網(wǎng)絡(luò)的挑戰(zhàn)

　　其次，Overlay網(wǎng)絡(luò)僅僅是一個邏輯上的二層直連網(wǎng)絡(luò)。其依賴的物理網(wǎng)絡(luò)，是一個傳統(tǒng)的路由網(wǎng)絡(luò)。這個路由網(wǎng)絡(luò)是一個三層到邊緣的網(wǎng)絡(luò)。也就是說二層廣播域被縮小到極致。這樣，網(wǎng)絡(luò)風(fēng)暴潛在的風(fēng)險大幅度降低。同時，對于一些需要依賴二層廣播的協(xié)議報文，例如：ARP報文，Overlay網(wǎng)絡(luò)通過ARP代理等方式實現(xiàn)協(xié)議的內(nèi)容透傳，不會影響協(xié)議報文的正常運(yùn)作。

　　再次，針對4K VLAN上限問題，Overlay網(wǎng)絡(luò)通過L2oIP的封裝字段，提供24bits長度的隔離ID，最大可以支持16M租戶或業(yè)務(wù)。

　　最后，針對網(wǎng)絡(luò)虛擬化問題。Overlay網(wǎng)絡(luò)本身就是一個從物理網(wǎng)絡(luò)中抽離的邏輯網(wǎng)絡(luò)，通過名址分離使得內(nèi)層IP地址完全作為一個尋址標(biāo)簽，不再具備路由功能，可以實現(xiàn)不同subnet之間二層互通，保證二層網(wǎng)絡(luò)的連通性不受IP地址段的限制。

　　2. H3C為什么選擇VXLAN

　　從Overlay網(wǎng)絡(luò)出現(xiàn)開始，業(yè)界陸續(xù)定義了多種實現(xiàn)Overlay網(wǎng)絡(luò)的技術(shù)，主流技術(shù)包括：VXLAN、NVGRE、STT、Dove等（如圖3所示）。

　　圖3 Overlay主流技術(shù)概覽

　　從標(biāo)準(zhǔn)化程度進(jìn)行分析，DOVE和STT到目前為止，標(biāo)準(zhǔn)化進(jìn)展緩慢，基本上可以看作是IBM和VMware的私有協(xié)議。因此，從H3C的角度來看無法選擇這兩種技術(shù)。

　　從技術(shù)的實用性來看，XLAN和NVGRE兩種技術(shù)基本相當(dāng)。其主要的差別在于鏈路Hash能力。由于NVGRE采用了GRE的封裝報頭，需要在標(biāo)準(zhǔn)GRE報頭中修改部分字節(jié)來進(jìn)行Hash實現(xiàn)鏈路負(fù)載分擔(dān)。這就需要對物理網(wǎng)絡(luò)上的設(shè)備進(jìn)行升級改造，以支持基于GRE的負(fù)載分擔(dān)。這種改造大部分客戶很難接受。相對而言，VXLAN技術(shù)是基于UDP報頭的封裝，傳統(tǒng)網(wǎng)絡(luò)設(shè)備可以根據(jù)UDP的源端口號進(jìn)行Hash實現(xiàn)鏈路負(fù)載分擔(dān)。這樣VXLAN網(wǎng)絡(luò)的部署就對物理網(wǎng)絡(luò)沒有特殊要求。這是最符合客戶要求的部署方案，所以VXLAN技術(shù)是目前業(yè)界主流的實現(xiàn)方式。

　　3. VXLAN為什么選擇SDN

　　VXLAN的標(biāo)準(zhǔn)協(xié)議目前只定義了轉(zhuǎn)發(fā)平面流程，對于控制平面目前還沒有協(xié)議規(guī)范，所以目前業(yè)界有三種定義VXLAN控制平面的方式。

　　方式1：組播。由物理網(wǎng)絡(luò)的組播協(xié)議形成組播表項，通過手工將不同的VXLAN與組播組一一綁定。VXLAN的報文通過綁定的組播組在組播對應(yīng)的范圍內(nèi)進(jìn)行泛洪。簡單來說，和VLAN方式的組播泛洪和MAC地址自學(xué)習(xí)基本一致。區(qū)別只是前者在三層網(wǎng)絡(luò)中預(yù)定義的組播范圍內(nèi)泛洪，而后者是在二層網(wǎng)絡(luò)中指定VLAN范圍內(nèi)泛洪。這種方式的優(yōu)點是非常簡單，不需要做協(xié)議擴(kuò)展。但缺點也是顯而易見的，需要大量的三層組播表項，需要復(fù)雜的組播協(xié)議控制。顯然，這兩者對于傳統(tǒng)物理網(wǎng)絡(luò)的交換機(jī)而言，都是巨大的負(fù)荷和挑戰(zhàn)，基本很難實現(xiàn)。同時，這種方式還給網(wǎng)絡(luò)帶來大量的組播泛洪流量，對網(wǎng)絡(luò)性能有很大的影響。

　　方式2：自定義協(xié)議。通過自定義的鄰居發(fā)現(xiàn)協(xié)議學(xué)習(xí)Overlay網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)并建立隧道管理機(jī)制。通過自定義（或擴(kuò)展）的路由協(xié)議透傳Overlay網(wǎng)絡(luò)的MAC地址（或IP地址）。通過這些自定義的協(xié)議可以實現(xiàn)VXLAN控制平面轉(zhuǎn)發(fā)表項的學(xué)習(xí)機(jī)制。這種方式的優(yōu)點是不依賴組播，不存在大量的組播泛洪報文，對網(wǎng)絡(luò)性能影響很小。缺點是通過鄰居發(fā)現(xiàn)協(xié)議和路由協(xié)議控制所有網(wǎng)絡(luò)節(jié)點，這樣網(wǎng)絡(luò)節(jié)點的數(shù)量就受到協(xié)議的限制。換句話說，如果網(wǎng)絡(luò)節(jié)點的數(shù)量超過一定范圍，就會導(dǎo)致對應(yīng)的協(xié)議（例如路由協(xié)議）運(yùn)行出現(xiàn)異常。這一點在互聯(lián)網(wǎng)行業(yè)更加明顯，因為互聯(lián)網(wǎng)行業(yè)云計算的基本特征就是大規(guī)模甚至超大規(guī)模。尤其是在vSwitch上運(yùn)行VXLAN自定義路由協(xié)議，其網(wǎng)絡(luò)節(jié)點數(shù)量可以達(dá)到幾千甚至上萬個，沒有路由協(xié)議可以支持這種規(guī)模的網(wǎng)絡(luò)。

　　方式3：SDN控制器。通過SDN控制器集中控制VXLAN的轉(zhuǎn)發(fā)，經(jīng)由Openflow協(xié)議下發(fā)表項是目前業(yè)界的主流方式。這種方式的優(yōu)點是不依賴組播，不對網(wǎng)絡(luò)造成負(fù)荷；另外，控制器通過集群技術(shù)可以實現(xiàn)動態(tài)的擴(kuò)容，所以可以支持大規(guī)模甚至超大規(guī)模的VXLAN網(wǎng)絡(luò)。當(dāng)然，SDN控制器本身的性能和可靠性決定了全網(wǎng)的性能和可靠性，所以如何能夠提高控制器的性能和可靠性就是核心要素。

　　三、VXLAN Fabric網(wǎng)絡(luò)架構(gòu)的優(yōu)勢

　　云計算網(wǎng)絡(luò)一直都有一個理念：Network as a Fabric，即整網(wǎng)可以看作是一個交換機(jī)。通過VXLAN Overlay可以很好地實現(xiàn)這一理念——VXLAN Fabric（如圖4所示）。

　　圖4 VXLAN Fabric網(wǎng)絡(luò)架構(gòu)

　　Spine和Leaf節(jié)點共同構(gòu)建了Fabric的兩層網(wǎng)絡(luò)架構(gòu)，通過VXLAN實現(xiàn)Spine和Leaf之間的互聯(lián)，可以看做是交換機(jī)的背板交換鏈路。Spine節(jié)點數(shù)量可以擴(kuò)容，最大可以達(dá)到16臺。Leaf節(jié)點數(shù)量也可以平滑擴(kuò)容。理論上只要Spine節(jié)點的端口密度足夠高，這個Fabric可以接入數(shù)萬臺物理服務(wù)器。

　　另外，通過VXLAN隧道可以實現(xiàn)安全服務(wù)器節(jié)點的靈活接入。這些安全服務(wù)節(jié)點可以集中部署在一個指定區(qū)域，也可以靈活部署在任意Leaf節(jié)點下。通過Service Chain技術(shù)實現(xiàn)任意兩個虛擬機(jī)之間可以通過任意安全服務(wù)節(jié)點互聯(lián)。保證網(wǎng)絡(luò)中虛擬機(jī)業(yè)務(wù)的安全隔離和控制訪問。同理，F(xiàn)abric的出口節(jié)點也可以部署在任意位置，可以靈活擴(kuò)展。

　　簡而言之，VXLAN Fabric構(gòu)建了一個靈活的、穩(wěn)定的、可擴(kuò)展的Overlay網(wǎng)絡(luò)。這個網(wǎng)絡(luò)可以有效地解決云計算對網(wǎng)絡(luò)的挑戰(zhàn)，是云計算網(wǎng)絡(luò)發(fā)展的趨勢。