1引言

隨著大數據?人工智能等技術的蓬勃發展,數據中心承載業務對算力的需求不斷提高,進而導致數據中心規模不斷擴大?單機架功率持續提升?數據中心規模的擴大和單機架功率的提升使數據中心能耗不斷增長,居高不下的能耗不僅給企業帶來了沉重的成本支出,也對社會能源?資源造成了極大的消耗?與此同時,數據中心單機功率密度的提升使得數據中心熱量集聚問題愈發凸顯,傳統風冷制冷方式散熱能力不足的缺陷逐漸暴露出來,成為影響單機架功率密度提升的主要因素?

當前,我國正處于數字化轉型的關鍵時期,各行業對數據中心算力的需求將保持高速增長,單機架功率密度預期仍將進一步提升;而數據中心的綠色發展也受到了社會的格外關注?因此,必須創新數據中心制冷方式以應對挑戰?作為一項全新的革命性“產物”,液冷技術的興起,全面改變了數據中心基礎設施建設?而冷板式液冷以其技術成熟?方便易用的特性,廣受業界關注?本文主要對冷板式液冷技術發展與應用現狀進行了分析,以期更好明晰產業發展動向?

2液冷及冷板式液冷技術發展歷程

20世紀60年代,IBM推出了采用液冷系統的System/360型91大型計算機,這款產品以高速度和高性能優勢被廣泛運用?但在很長的一段時間內,液冷技術并沒有得到有效的發展,主要原因是早期數據中心規模小?機架功率密度低,對液冷的需求并不強烈?其次,與風冷技術相比,液冷技術在系統部署?制冷原理以及技術方向等方面存在較大的研發及應用困難?因此,在很長一段時間內,數據中心液冷技術發展緩慢,數據中心制冷仍然以風冷為主?而近年來,隨著互聯網?人工智能?大數據等應用的不斷創新和發展,不但快速推動了數據中心應用場景的變革,而且也加快了底層技術如液冷等的發展步伐?

按照是否與發熱的器件產生直接接觸的形式,將液冷技術分為接觸和非接觸式兩種類型?接觸式液冷中冷卻液與發熱器件可直接接觸,接觸式液冷技術的具體實現方案主要包括浸沒式和噴淋式液冷,非接觸式液冷技術的典型方案是冷板式液冷?浸沒式液冷往往需要對IT設備進行定制化改造和設計,對機房現有IT基礎設施改造幅度較大,技術難度較高?噴淋式液冷通過在機箱頂部儲液和開孔方式讓冷卻液對發熱體進行噴淋,噴淋式液冷對機箱改造幅度較小,但是在制冷過程中可能會產生冷卻液遇高溫飄逸和蒸發現象,這些霧滴經機箱孔洞散發到機箱外后可能會降低機房清潔度,并對機房內其他設備造成影響,而冷板式液冷技術對服務器的改造幅度也相對較小,且安全性較高?

上述三種液冷技術方案中,冷板式液冷技術是應用最早?普及率最高的液冷制冷方式,其可操作性和市場的成熟度也相對較高?國內外在研究冷板式的應用上具有較多的實踐案例,其中IBM的SuperMUC則充分利用了冷板式的制冷特點,該超算中心水冷系統具有3072個溫水水冷計算節點,共計86016個計算內核?由于德國常年氣溫都低于35度,超算中心實現了全年自然冷卻的效果,為業界的綠色HPC系統標桿?如今德國慕尼黑部署超算中心(LRZ)在SuperMUC-NG集群上運行了750個應用程序,2000多名科學家可通過自助模式隨時訪問HPC資源?

與國外相比,我國的數據中心發展相對較晚,初期發展過程中對數據中心的能耗方面重視較低,大部分數據中心PUE(PowerUsageEffectiveness)保持在2.2~3.0之間?近年來,不少數據中心都積極嘗試包括冷板式液冷在內的新技術?2015年,中科院使用冷板式液冷服務器建設了“地球系統數值模擬裝置原型系統”,通過大量的實驗測試,不但有效降低了PUE的值,而且也大幅度降低了能源消耗,在一定程度上提升了計算性能?

總體來看,液冷技術的應用使得數據中心的PUE值得到改善,而且能效水平得到了明顯的提升?目前,國內外在冷板式液冷方面,均進行了較多的嘗試,并取得了較好的進展?國內以華為的全液冷系統為例,其利用液冷技術,較好的實現了IT設備的高密度部署,提高數據中心能源使用效率?

3冷板式液冷技術分析

當前,冷板式?噴淋式以及浸沒式等類型,屬于業界典型的液冷技術?本文主要以冷板式液冷技術為主要研究內容,本章對冷板式液冷系統設計?優勢及現存問題進行介紹?

3.1冷板式液冷系統設計

冷板式液冷主要通過冷板(銅?鋁等高導熱金屬構成的封閉腔體)將元器件的熱量間接傳遞給封閉在循環管道中的冷卻液體,然后利用冷卻液體將熱量帶走,其通過工作流體的傳遞特點將中間熱量運輸到后端進行冷卻?液冷主要的循環過程,如圖1所示?首先,在機柜上設置分水器;其次,對接進出水管路提供給計算節點的進出口,以節點內的冷板管為媒介,完成液體的循環;最后,將CDU與外部管路連接的接頭連接,完成液冷循環?

如圖2?圖3所示,在冷板式液冷的設計過程中,主要由一次側與二次側的相關設備構成,一次側通過冷卻液體與發熱部件的熱量進行相互交換的方式降低冷卻液的溫度;二次側完成發熱部件與冷卻液體熱量的交換,液體升溫帶走部件熱量?通過一次側和二次側的結合實現了冷板式液冷系統的整機液體循環,進而成為IT設備散熱的目標?

數據中心的可用性一直以來都受到業內的主要關注,冗余設備及部件的應用,將會有效提高數據中心可用性?在使用冷板式液冷的過程中,為了保障整個系統一次側和二次側有較高的可用性,則應對關鍵設施進行冗余裝配,具體情況如下:

(1) 一次側設備冗余:主要由室外機等設備組成,通常情況下,采用N+1冗余已經可以較好的實現日常維護并應對突發事件;

(2) 二次側設備冗余:關鍵設備為冷卻液分配單元(CDU),一般可以根據系統的規模?以及對安全性的要求進行設備的冗余配置,若對大規模的系統要求較高的安全系數,采用不低于N+1冗余配置的應用較為合適;

(3) 液體管路冗余:從管路的可靠性,以及設備的經濟性和易用性等角度出發,一般冷板式液冷的液體管路可以按照無冗余的方式進行配置?

3.2冷板式液冷的優勢

為了提高數據中心的散熱效率,產業界做了大量嘗試,但相關技術均存在一定的局限性,而冷板式液冷技術在應用方面,具有以下優勢:

(1) 材料兼容性好?冷板式液冷技術在冷卻液管路中流動時,并未與主板和芯片模塊進行直接的接觸,材料兼容性較強?而且在選擇冷卻液時,可只考慮冷卻液與循環管路以及冷板之間的兼容性問題；

(2) 對發熱器件的要求較低,安裝較為簡捷?冷板式技術不改變服務器主板原有的形態,而是在保留現有服務器主板時,對其進行改裝實現?這種改裝方式不僅拆卸簡單?安裝方便,而且在技術?產業以及規模化生產上具有更好的可行性；

(3) 成本較低,應用發展快?高昂的水冷機組極大的提高了數據中心建設的總體成本,而冷板式液冷技術的應用替代了高成本的水冷機組,有效的降低了總成本的消耗量?采用冷板式液冷技術不但可以有效提高數據中心的能源利用率,而且在適應數據中心的高密度需求方面也較為符合；

(4) 高密度?高效能?高可靠?采用冷板式液冷系統后,可以實現機架功率密度的提高,有效提升單機架的計算能力;冷板式液冷系統相對風冷在能效方面,也將具備高效能的特點?同時,相對于風冷,在產業界進一步對液體?管理和設備冗余進行更為合理的設計和應用后,液冷也將具有比風冷更高的可靠性?

3.3冷板式液冷現存問題

目前,冷板式液冷技術發展中面臨一些困難?

3.3.1需要解決機房適配問題

冷板式液冷方式的部署環境與傳統的機房管路配置相比不但具有很大的差異性,而且在部署傳統機房的液冷系統時會消耗較大的部署成本?包括轉接頭之類的部件兼容性也是機房適配需要考慮的問題?

3.3.2相關標準需進一步完善

目前,基于開放數據中心委員會(ODCC)的研究成果,中國通信標準化協會發布了系列液冷團體標準?這些標準可以進行框架性指導,但需要更加細節性的技術規范對冷板式液冷部署和液體相關進行標準化規范管理,為后續大規模部署奠定良好基礎?

3.3.3急需專項資金支持

液冷技術是一項成本耗費巨大的工程項目,不但需要具有優秀的服務器研發能力,同時還需要具備相關流體方面的技術實力,還需要機房風火水電等基礎設施的整體配合,投入較大?見效較慢,如有相關專項資金的支持將會提升該技術的應用進度?

4冷板式液冷應用實踐

為了實現冷板式液冷系統的穩定運行,冷板式液冷必須在相關技術方面取得突破,本文對冷板式液冷的技術及業界具體實踐進行了分析?

4.1液冷與風冷的結合應用

冷板式液冷通過設備內部的管路,實現了將大功耗部件產生熱量,使用液體冷卻介質帶走的目的?通常情況下,設備內部熱量較少的器件,仍將采用風冷的形式進行散熱,如硬盤?接口卡等設備?因此,與采用風冷的散熱形式相比,液冷與風冷的結合有效降低了損耗的效率,成為業內典型的應用模式?如圖4所示,為目前業界采用的方案之一,其直接液冷部分采用冷板的形式,為大功率發熱部件;其間接液冷部分,通過換熱器,實現風冷系統的熱風與一次側冷卻液體的熱量交換,從而利用冷卻液體將熱量帶出機房?液冷與風冷的結合,不但可以通過利用液體冷卻的技術進行高效率的散熱;而且也可以采用風冷的形式,為發熱功率較低的部件進行散熱,也降低了系統的設計和使用難度,并有利于在總體上實現效果?成本的最優,也有利于系統更為靈活的應用?

4.2水質監控技術應用

冷卻液是液冷系統進行熱量交換的主要媒介,因此,如何挑選合適的冷卻液成為眾多企業研究的主要目標?應用層面,選取冷卻液應當考慮環保?穩定?經濟以及電化學反映等因素;另一方面,也要采用技術手段,監測水質等情況,以進行響應的預防和處理?當前,冷板式液冷的冷卻液包括乙二醇?水等,在水質監測方面,包括pH值?液體濃度?微生物總數等指標,冰點儀?pH計以及折光儀等成為監測所采用的設備或者方法?

4.3熱回收技術應用

數據中心的余熱利用是企業長期關注的重點研究內容,不但可以大幅度提高能源的利用效率,而且也穩定了系統的可靠性能?當前的制冷設備無法直接吸收數據中心的低品位余熱,而液冷冷板式散熱器在降低消耗額外電能的情況下,可直接吸收低品位余熱?液冷散熱的運行水溫具有長期不變的特點,因此與其他的機組相比,液冷散熱的節能效果極為顯著,不但在吸收冷凝熱方面具有較大的優勢,而且具有較高的綜合能效比?

5結束語

在數字經濟高速發展的時代,數據中心規模的不斷擴大?單機架功率密度快速提升,對數據中心制冷和能耗帶來了前所未有的挑戰,多數企業已經意識到建立低能耗?高制冷效率以及高節能數據中心的重要性?

在數據中心的建設與運營過程中,液冷數據中心雖具有架構簡單?低能耗的特點,但處于初步發展階段的液冷技術,在設備研發?冷卻液穩定性?運維等方面,還有諸多問題急需解決?冷板式液冷技術作為液冷技術重要的實現方式之一,目前已經逐步開始在產業界進行應用?針對冷板式液冷技術,本文從技術和應用兩方面進行了分析?未來,冷板式液冷技術除了其本身的演進外,也必將對機房?供配電?IT設備等產生巨大的影響?業界應當高度關注液冷技術的變革,并研究其對數據中心建設的影響,進而推動技術的應用,實現高效能數據中心的建設?

本文來源：知網 版權歸原作者所有，轉載僅供學習交流，如有不適請聯系我們，謝謝。

標簽： 液冷、數據中心等 點擊： 評論: