虛擬化技術(shù)也分為技術(shù)流派，其中以 KVM、Xen、VMWare （Virtual Machine ware）等為主流。早在2013年，騰訊云基于對虛擬化技術(shù)未來發(fā)展方向的判斷，放棄當(dāng)時的主流XEN虛擬化技術(shù)，在業(yè)界率先擁抱開源的KVM技術(shù)，并將其不斷演進。
近日，騰訊云虛擬化技術(shù)負責(zé)人陳立東，首次向外界詳細披露其在虛擬化技術(shù)上的技術(shù)演進路線。
虛擬化到底是什么？
簡單來說，虛擬化主要是指服務(wù)器資源的虛擬化，即在一臺物理機上為一個虛擬機構(gòu)造一個完整的操作系統(tǒng)的運行環(huán)境，再通俗點說，就是“把一臺電腦虛擬成N臺電腦”。其中，虛擬化的資源包括 CPU、內(nèi)存、網(wǎng)絡(luò)和存儲幾個部分。一般來說，在一個物理機上，通過虛擬化技術(shù)可以將多個完整的虛擬機以不同的形式售賣給不同的客戶，滿足客戶定制化的需求。
談到虛擬化技術(shù)，這其實并不是一個新鮮的詞匯，早在 60年代中期，IBM 就已經(jīng)有了虛擬化技術(shù)。近十多年來，尤其是 2005年Intel 推出硬件輔助虛擬化，也就是在 CPU 指令上支持虛擬化，才讓這個技術(shù)有了一次重大的發(fā)展。
最初，虛擬化技術(shù)的主流是劍橋大學(xué)開發(fā)的 Xen。陳立東透露，2010 年騰訊做開放平臺時，采用的也是 Xen。之后推出騰訊云公有云產(chǎn)品時，騰訊云選擇了 KVM。之所以做出這個選擇，陳立東表示，主要的原因是 KVM 技術(shù)是一個完全開源且輕量級的技術(shù)，內(nèi)核對其的支持也做得比較好，是后續(xù)技術(shù)發(fā)展的方向。
為了解虛擬化技術(shù)的作用與意義，我們從一張騰訊的云分布式調(diào)度系統(tǒng) VStation 的整體架構(gòu)圖中來看。VStation 作為騰訊云計算操作系統(tǒng)，承擔(dān)了資源調(diào)度、請求排隊的工作。
虛擬化則負責(zé)為每臺 CVM（云服務(wù)器（Cloud Virtual Machine））構(gòu)造出完整的 PC 運行環(huán)境，包括 CPU、內(nèi)存、網(wǎng)絡(luò)、存儲各個部分資源。主要包含 libvirt、qemu、kvm 三部分：
- qemu與kvm構(gòu)成hypervisor，負責(zé)CVM資源的虛擬化，在物理機上，虛擬出一個個完整的PC環(huán)境；
- libvirt負責(zé)提供統(tǒng)一對外的接口，用于管理hypervisor。
圖1. 整體架構(gòu)
騰訊云虛擬化技術(shù)演進路程
據(jù)陳立東介紹，在騰訊云的大規(guī)模云計算實踐過程中，他們遇到一些虛擬化方面的技術(shù)挑戰(zhàn)，也在不斷解決問題的過程中，走出了一條自己的虛擬化技術(shù)路線圖。
挑戰(zhàn)一：如何提高云服務(wù)器的可用性？
第一個挑戰(zhàn)體現(xiàn)在可用性方面。隨著目前硬件發(fā)展的趨勢，服務(wù)器的集成度越來越高，單臺物理機故障對云服務(wù)器的影響面越來越大。如何在云上規(guī)避物理服務(wù)器宕機對虛擬化的影響，是騰訊云面臨的第一個挑戰(zhàn)。
陳立東提到，在騰訊云規(guī)模達到一定規(guī)模時遇到了一個問題，當(dāng)時某個游戲客戶投訴騰訊云云服務(wù)器故障率高，云服務(wù)器突然宕機，導(dǎo)致游戲玩家掉線，客戶甚至因此考慮遷移到其他云。這給了陳立東團隊非常大的壓力。
通過統(tǒng)計服務(wù)器常見的故障原因后，發(fā)現(xiàn)在服務(wù)器故障中最主要的故障原因是內(nèi)存故障。當(dāng)內(nèi)存發(fā)生多 bit UCE錯誤時，就會導(dǎo)致整個物理機宕機，一臺物理機上所有的虛擬機都會隨之宕機。
然而，問題是內(nèi)存硬件上本身存在失效率，低概率的發(fā)生多 bit UCE 錯誤是無法完全避免的。為了提升云服務(wù)器的可用性，騰訊云采用了多種優(yōu)化方案，這里介紹其中兩個利器：內(nèi)存高級 RAS 特性MCA recovery 和熱遷移。
首先是 MCA recovery。為了解決內(nèi)存故障率的問題，騰訊云聯(lián)合了 CPU 廠商，包括 Intel，針對騰訊云單獨定制 CPU。在定制過程中，騰訊云要求服務(wù)器廠商為騰訊云提供一些更高端的 CPU 特性，其中一個叫做 MCA Recovery。
之前，如果發(fā)生了內(nèi)存UCE錯誤，原有的服務(wù)器就會直接宕機，但在支持了 MCA Recovery后再發(fā)生內(nèi)存錯誤時，服務(wù)器不會宕機，只會發(fā)出警告內(nèi)存有問題，再由上層決定解決如何處理。
騰訊云是首家在數(shù)據(jù)中心中大規(guī)模使用MCA Recovery技術(shù)的云廠商，剛開始進展并不順利。啟用了MCA Recovery后，大量的UCE錯誤并沒有成功規(guī)避。當(dāng)時服務(wù)器ODM廠商，Linux 內(nèi)核對MCA Recovery支持并不完善。
針對硬件廠商缺陷導(dǎo)致的規(guī)避失敗案例，騰訊云開發(fā)故障注入工具，作為服務(wù)器 BIOS BMC 廠商引入標(biāo)準(zhǔn)。針對故障注入進行長時間壓力測試，確保硬件廠商都按照騰訊云的標(biāo)準(zhǔn)完成硬件引入。
同時，騰訊云還發(fā)現(xiàn)了多個 CPU架構(gòu)優(yōu)化的案例，通過修改 Linux 內(nèi)核軟件盡量避免觸發(fā)，大大降低了不可恢復(fù)異常的觸發(fā)概率。同時，騰訊云在CPU廠商的下一代CPU中進行改進優(yōu)化。
對于Linux內(nèi)核對MCA Recovery的支持，騰訊云也針對性對內(nèi)核的內(nèi)存管理模塊和KVM進行優(yōu)化。
相關(guān)的優(yōu)化，在騰訊云基于Intel Skylake及其以后代次的云服務(wù)器上都以全面落地。
除了 Intel，騰訊云還聯(lián)合 AMD 落地多項內(nèi)存RAS 特性，結(jié)合其他多項硬件可用性優(yōu)化措施，提升騰訊云AMD云服務(wù)器SA2實例的可用性。
目前，騰訊云成為首家在數(shù)據(jù)中心中大規(guī)模使用MCA Recovery技術(shù)的公司，通過一系列的軟硬件結(jié)合優(yōu)化，騰訊云 CVM 云服務(wù)器通過 MCA Recovery 已規(guī)避大量的內(nèi)存 UCE 錯誤，大大降低了內(nèi)存故障率，將騰訊云云服務(wù)器的可用性做到了業(yè)界領(lǐng)先。
第二個技術(shù)點是熱遷移技術(shù)。
支持了 MCA Recovery等高級RAS特性 后，騰訊云當(dāng)物理服務(wù)器出現(xiàn)硬件隱患時，雖然不會宕機，但是已經(jīng)存在隱患了，需要盡快下線維修。這個時候正在運行的云服務(wù)器怎么辦？
針對這個問題，騰訊云用熱遷移技術(shù)來解決，可以把云服務(wù)器從一臺物理機無感知遷移另一臺，當(dāng)一臺物理機存在硬件隱患時，把云服務(wù)器遷移到另一臺正常的物理機上。因此，通過熱遷移技術(shù)，騰訊云將云服務(wù)器的可用性提升到高于物理機本身的可用性。
熱遷移示意圖
在大規(guī)模落地時，熱遷移的難度體現(xiàn)在兩個方面，一個是熱遷移的成功率，如果熱遷移所以來的服務(wù)器負載過高，則熱遷移可能失敗，為了提高熱遷移的成功率，騰訊云使用了包括RDMA 在內(nèi)的多個熱遷移優(yōu)化，將熱遷移成功率從原來的 70% 提升至 99%；第二個難點在于盡量減少熱遷移的停機時間，目前騰訊云可實現(xiàn)在 50 毫秒以內(nèi)的熱遷移停機時間，基本上可以達到無感知的水平。
挑戰(zhàn)二：如何降低虛擬化帶來的損耗？
第二個挑戰(zhàn)是，虛擬化在同一個物理機虛擬多個虛擬機帶來靈活性，但同時虛擬化本身會有一些性能損耗，業(yè)務(wù)希望虛擬化技術(shù)要保證性能與物理機相匹配，盡量減少虛擬化的損耗，這也是虛擬化技術(shù)面臨的很大的挑戰(zhàn)。
在降低虛擬化性能損耗上，陳立東以騰訊內(nèi)部自研上云的過程舉例。項目啟動不久，微信同事在測試時反饋其中一個模塊性能下降超過 30%。為此，騰訊云投入了多個資深開發(fā)工程師進行分析，共做了 7 輪優(yōu)化，最終將 KVM 的虛擬化損耗降低到 5%。
針對 Linux 子機場景，騰訊云也做了一些與 KVM 虛擬化本身結(jié)合性的性能優(yōu)化，對外推出了騰訊的 Linux 的發(fā)行版 Tencent Linux，目前已經(jīng)開源。
另外，騰訊云還針對 Windows 子機進行了大量優(yōu)化，逆向分析Windows內(nèi)核邏輯，專門優(yōu)化了 KVM 對 Windows內(nèi)核的支持，大大提升了 Windows 云服務(wù)器在騰訊云上的性能。
挑戰(zhàn)三：如何提升虛擬化的穩(wěn)定性？
第三點挑戰(zhàn)是在虛擬化后，包括 CPU 和內(nèi)存都多出一個虛擬化層。業(yè)務(wù)希望虛擬化需要和物理機一樣的穩(wěn)定性，滿足業(yè)務(wù)對響應(yīng)延時的極致追求。
除了一些性能測試工具跑分的峰值性能，騰訊云更注重性能的穩(wěn)定性和業(yè)務(wù)的實際體現(xiàn)。
陳立東提到，Linux本身的內(nèi)核度算法是CFS，但是分析了以后，Linux本身的CFS調(diào)度算法并不適合完全滿足虛擬化場景的需求，因此騰訊云針對虛擬化場景，自研了一套Linux內(nèi)核的調(diào)度的算法，在內(nèi)部稱之為VMF。這套算法的核心思想要保證虛擬機的任務(wù)要優(yōu)先執(zhí)行。通過該技術(shù)，騰訊云將虛擬化場景下的調(diào)度延時做到和物理機持平的穩(wěn)定性。
挑戰(zhàn)四：如何快速交付？
第四點就是交付的效率，使用云后，客戶希望盡可能快速地獲得大量計算資源，如何為客戶提供秒級交付體驗也是一個挑戰(zhàn)。
早期騰訊云的客戶反饋GPU機型，購買后啟動比較慢，需要等幾分鐘后才能啟動，影響使用體驗。虛擬機啟動的時候，提前分配并鎖住全部的虛擬機內(nèi)存，而虛擬機內(nèi)存越大，啟動就越慢。這給用戶帶來非常糟糕的體驗，當(dāng)時也是所有云廠商都存在的一個問題。
在優(yōu)化前，一臺700G規(guī)格的一個虛擬化啟動，在之前啟動需要大概270秒，優(yōu)化以后，將其啟動時間縮短了22秒，大大提升了用戶的體驗，騰訊云將相關(guān)的優(yōu)化補丁已經(jīng)貢獻到了社區(qū)。
輕量級虛擬化是未來發(fā)展方向
從騰訊虛擬化技術(shù)的演進路線中，可以看到虛擬化技術(shù)當(dāng)前存在的一些技術(shù)難點與熱點，希望對云計算開發(fā)者帶來一定的借鑒意義。
最后，陳立東還談到了虛擬化技術(shù)未來發(fā)展的趨勢和方向。他認(rèn)為，虛擬化將來一個很大的發(fā)展方向就是輕量級虛擬化，而要實現(xiàn)這一點需要要把虛擬化層做得盡量簡單，從而降低損耗。
“總的來說，要實現(xiàn)把物理資源進行拆分的情況下，盡量減少虛擬化的損耗，這對整個底層的挑戰(zhàn)還是非常大的。”陳立東指出。
