國家超級計(jì)算濟(jì)南中心（以下簡稱“濟(jì)南超算中心”）超算平臺數(shù)據(jù)中心機(jī)房規(guī)劃面積約10000平方米，建成后可容納20000臺標(biāo)準(zhǔn)服務(wù)器，如此大規(guī)模的機(jī)房，如何建設(shè)才能打造節(jié)能降耗的綠色數(shù)據(jù)中心，從而降低超算中心運(yùn)營成本呢？
數(shù)字時代高性能計(jì)算的發(fā)展速度日新月異
數(shù)據(jù)中心是數(shù)字經(jīng)濟(jì)時代的核心基礎(chǔ)設(shè)施和國家戰(zhàn)略資源，它的本質(zhì)是將電力轉(zhuǎn)化為算力。從古希臘時期的著名數(shù)學(xué)家畢達(dá)哥拉斯提出的“萬物皆數(shù)”的觀點(diǎn)，到如今真正邁入“萬物皆可算”的時代；從珠算的古老智慧，到超算的超能力；我們的認(rèn)知和算力不斷地突破極限，且遠(yuǎn)遠(yuǎn)沒有止步。隨著數(shù)字化需求的飛速增長，算力的發(fā)展速度也日新月異。
現(xiàn)如今，超算已經(jīng)成為現(xiàn)代社會必不可少的重要基礎(chǔ)設(shè)施，歐美等發(fā)達(dá)國家30%以上的高技術(shù)產(chǎn)業(yè)都有賴于超算支撐，山東省新ICT技術(shù)、醫(yī)養(yǎng)健康、高端裝備、新能源新材料等新舊動能轉(zhuǎn)換重大工程產(chǎn)業(yè)的發(fā)展也離不開超算，它們的高算力需求應(yīng)用，每一年的計(jì)算資源用量呈3-5倍的增長，對數(shù)據(jù)存儲和管理需求也越來越高。
目前，全球各國競相研發(fā)部署E級超算。濟(jì)南超算中心便是參與世界首個E級超算研發(fā)項(xiàng)目的超算之一。E級超算一秒鐘可以進(jìn)行一百億億次數(shù)學(xué)運(yùn)算，拿目前中國最快的超算神威·太湖之光來說，它的峰值運(yùn)算速度是每秒12.5億億次，而E級超算的計(jì)算能力是這個峰值的8倍，它1分鐘的算力相當(dāng)于70億人同時拿計(jì)算器不間斷計(jì)算約273年。
如此大規(guī)模、高性能的計(jì)算，功率密度也在不斷提升，而且要長期運(yùn)行在高負(fù)荷率條件下，超算平臺的數(shù)據(jù)中心將面臨著“能耗大戶”的問題。
“雙碳”目標(biāo)下數(shù)據(jù)中心能耗管控勢在必行
在全球變暖、地球環(huán)境狀況日益嚴(yán)峻的當(dāng)下，綠色、節(jié)能、減排已成為全人類的共識。當(dāng)前，我國提出“碳達(dá)峰”和“碳中和”的宏偉目標(biāo)，數(shù)據(jù)中心作為數(shù)字社會的基礎(chǔ)設(shè)施，能耗問題再次受到社會各界廣泛關(guān)注。國家發(fā)改委明確到2025年，新建大型、超大型數(shù)據(jù)中心PUE不超過1.3，濟(jì)南超算中心數(shù)據(jù)中心的建設(shè)面臨著節(jié)能的硬指標(biāo)。
機(jī)房作為超算平臺最基礎(chǔ)的設(shè)施之一，是超算中心的核心所在地，超算主機(jī)、網(wǎng)絡(luò)、存儲、安全等基礎(chǔ)設(shè)施都將存放在這座數(shù)據(jù)中心機(jī)房內(nèi)。因此，提高超算中心的能效，對“雙碳”目標(biāo)下的節(jié)能減排有著非常重要的意義，同時也是降低超算中心運(yùn)營成本的關(guān)鍵。
濟(jì)南超算中心希望能夠在數(shù)據(jù)中心的建設(shè)上獲得更快的建設(shè)周期、更精細(xì)化的管控和高可靠的運(yùn)維，為角逐“超級計(jì)算機(jī)界的下一頂皇冠”以及為國民經(jīng)濟(jì)建設(shè)提供加速度打好堅(jiān)實(shí)的底座。山東科普在實(shí)地勘測超算數(shù)據(jù)中心的場地后，決定采用華為智能微模塊解決方案。
華為智能微模塊主攻山東科普五鉆交付助攻
49套華為智能微模塊數(shù)據(jù)中心，機(jī)柜級在線平滑擴(kuò)容，全力滿足國家超算濟(jì)南中心業(yè)務(wù)快速增長的需求；59套UPS5000-E高效模塊化UPS，其中包含51套800K模塊化UPS，系統(tǒng)效率高達(dá)96%，低載高效，為超算平臺應(yīng)用及產(chǎn)業(yè)發(fā)展提供信息基礎(chǔ)設(shè)施，助力超算平臺打造節(jié)能的綠色數(shù)據(jù)中心。
華為智能微模塊解決方案：
- 化零為整，讓機(jī)房建設(shè)更簡單。所有部件工廠預(yù)制、預(yù)組裝、預(yù)測試，現(xiàn)場由山東科普交付工程師進(jìn)行安裝，縮短工期50%；全模塊化架構(gòu)，快速部署，柔性擴(kuò)容。
- 高效可靠，保障機(jī)房運(yùn)行安全。通過供電全鏈路監(jiān)測、預(yù)警和關(guān)鍵節(jié)點(diǎn)故障自動隔離等手段，實(shí)現(xiàn)預(yù)測性維護(hù)。
- 告別繁瑣，運(yùn)維管理一身輕松。PAD/手機(jī)APP近端管理，并可實(shí)現(xiàn)多網(wǎng)點(diǎn)遠(yuǎn)程統(tǒng)一管理，實(shí)現(xiàn)預(yù)防性維護(hù)，提升故障響應(yīng)速度；3D可視化用戶界面管理關(guān)鍵操作參數(shù)，實(shí)時顯示主設(shè)備運(yùn)行狀態(tài)。
山東科普負(fù)責(zé)L2層中心區(qū)域及L3層外圍區(qū)域模塊化機(jī)房的建設(shè)，項(xiàng)目總面積約6000平米，共分為10個業(yè)務(wù)區(qū)域，在10個區(qū)域內(nèi)共布置49套模塊化數(shù)據(jù)中心，包含1282臺機(jī)柜、660臺行級精密空調(diào)、智能母線及模塊化數(shù)據(jù)中心本地監(jiān)控系統(tǒng)，由具備項(xiàng)目經(jīng)理及數(shù)據(jù)中心能源售后中級工程師資格的團(tuán)隊(duì)進(jìn)行現(xiàn)場的施工管理和安裝交付。原定工期12個月，通過模塊化解決方案快速交付以及規(guī)范高效的施工管理下，整個數(shù)據(jù)中心機(jī)房建設(shè)提前三個月完工。同時提升數(shù)據(jù)中心可用性和可靠性等級，為各類高性能計(jì)算業(yè)務(wù)服務(wù)提供更堅(jiān)實(shí)的基礎(chǔ)。
華為智能母線節(jié)省柜位機(jī)房更高密
華為智能母線節(jié)省柜位機(jī)房更高密
未來，五年數(shù)據(jù)中心高密成為新常態(tài)，從供配備電都需要模塊化，華為智能母線是簡單、高效、可靠的新型數(shù)據(jù)中心配電解決方案。項(xiàng)目采用接近200套小母線，省空間、易維護(hù)、易擴(kuò)容，實(shí)現(xiàn)快速交付，解決高密供電問題。
- 簡單：支持柜頂支架/吊裝可選，完美匹配不同層高場景；插接箱、POE單板、開關(guān)等部件支持熱插拔，便于維護(hù)維護(hù)簡單，支持通道內(nèi)維護(hù)。
- 高效：移動插接，位置靈活，可滿足7kW/柜→21kW/柜靈活擴(kuò)容；每個模塊可節(jié)省1~2個列頭柜位。
- 可靠：強(qiáng)弱電融合，集成智能管理卡，監(jiān)控系統(tǒng)總線環(huán)網(wǎng)，運(yùn)行狀態(tài)實(shí)時監(jiān)測；全封閉外殼，IP30防護(hù)等級，壽命長達(dá)25年，抗震烈度9級。
華為溫控解決方案輔助制冷更可靠
這么大規(guī)模機(jī)房的散熱和能耗如何管控呢？為了解決超算數(shù)據(jù)中心大型化、高密化、云端化的散熱難題，山東科普對傳統(tǒng)的制冷系統(tǒng)進(jìn)行了分析，傳統(tǒng)制冷送風(fēng)效率差，難以按需擴(kuò)容，且架構(gòu)繁多，熱點(diǎn)問題頻現(xiàn)，很難維持超算機(jī)房所需的標(biāo)準(zhǔn)溫度。如果采用傳統(tǒng)制冷，需要空調(diào)不停的制冷，這就會不停的消耗電力，提供了算力，損失了電力，豈非得不償失？
據(jù)統(tǒng)計(jì)，數(shù)據(jù)中心年耗電量億達(dá)4000億kWh，而制冷設(shè)備耗電量占據(jù)了數(shù)據(jù)中心能耗的40%左右。因此，如果能將制冷能耗降低，就能很大程度地減少二氧化碳的排放。
在制冷設(shè)備節(jié)能降耗方面，華為走在了前面，打破傳統(tǒng)思維，利用行級和冷凍水摸索出了一套智能溫控解決方案，將冷凍水直接引入機(jī)柜間的冷凍水末端，更靠近熱源，制冷更可靠的同時，引入AI技術(shù)，將數(shù)據(jù)中心的能耗降低，為廣大大型數(shù)據(jù)中心機(jī)房的建設(shè)提供了很好的典范。
山東科普在濟(jì)南超算中心數(shù)據(jù)中心機(jī)房項(xiàng)目上，綜合考慮了用戶對數(shù)據(jù)中心高制冷效率、低PUE、高回報(bào)的需求，實(shí)施了華為智能溫控解決方案，安裝660臺行級冷凍水空調(diào)，本次超算中心布置的1282臺機(jī)柜全部為超高功率設(shè)計(jì)，根據(jù)承載業(yè)務(wù)不同分別為10KW/柜、14KW/柜、20KW/柜，為了防止局部熱點(diǎn)，保證IT設(shè)備的可靠運(yùn)行，在設(shè)計(jì)時對每個模塊進(jìn)行了CFD仿真，確保行級空調(diào)的數(shù)量及布局滿足設(shè)備運(yùn)行及冗余的要求。
如下圖所示，機(jī)房內(nèi)劃分出間隔的冷熱通道。整個機(jī)房采用密閉熱通道技術(shù)，將機(jī)房內(nèi)的冷熱風(fēng)隔離開，改善機(jī)房氣流組織，有效提高空調(diào)利用率，達(dá)到降低機(jī)房運(yùn)行PUE、創(chuàng)造綠色節(jié)能機(jī)房的目的。
L3擴(kuò)展機(jī)房M301機(jī)房熱通道CFD仿真圖
該方案具有高效制冷、高可靠性、高兼容性、智能監(jiān)測、快速安裝、調(diào)試和便利維護(hù)等特點(diǎn)，隨著超算數(shù)據(jù)中心的規(guī)模性應(yīng)用，1到3年內(nèi)便可為用戶收回投資成本。
- 高效制冷：EC高效風(fēng)機(jī)比普通風(fēng)機(jī)節(jié)能超過30％。冷凍水閥為增量PID控制，調(diào)節(jié)精度更高，控制更加準(zhǔn)確。智能壓差控制，比普通風(fēng)機(jī)控制模式更節(jié)能。
- 高可靠性：群控組網(wǎng)提供合理的智能溫控產(chǎn)品輪巡、層疊、避免競爭運(yùn)行、冷量動態(tài)分配以及主控系統(tǒng)備份功能。雙路供電，主路斷電自動切換到備路，主路來電會自動切回主路。寬輸入電壓范圍，適應(yīng)各種惡劣電網(wǎng)。智能壓差控制，解決風(fēng)量不足產(chǎn)生的熱點(diǎn)問題�？膳渲�10個溫濕度傳感器以監(jiān)測機(jī)房溫濕度，可靠性更高。
山東科普攜手華為，基于成熟的硬件供應(yīng)鏈體系，以及領(lǐng)先的技術(shù)、產(chǎn)品和解決方案，助力濟(jì)南超算中心將通用超算的算力普惠給更多的企業(yè)和科研機(jī)構(gòu)，成為山東新舊動能轉(zhuǎn)換重大工程“十強(qiáng)”優(yōu)勢產(chǎn)業(yè)發(fā)展的算力引擎。項(xiàng)目的成功交付，也為華為智能微模塊數(shù)據(jù)中心解決方案的部署打下堅(jiān)實(shí)的基礎(chǔ)，為濟(jì)南超算平臺新舊動能轉(zhuǎn)換提供可靠的、源源不斷的動力支撐。未來，華為將繼續(xù)攜手更多合作伙伴，為“雙碳”目標(biāo)的達(dá)成與數(shù)字經(jīng)濟(jì)的蓬勃發(fā)展貢獻(xiàn)力量。
