|
|
伴隨云計(jì)算、大數(shù)據(jù)、人工智能等技術(shù)的發(fā)展和應(yīng)用,作為信息基礎(chǔ)設(shè)施的數(shù)據(jù)中心及相關(guān)設(shè)備承擔(dān)的計(jì)算量越來(lái)越大,數(shù)據(jù)中心服務(wù)器及通信設(shè)備自身處理能力和集成度不斷提高,同時(shí)也帶來(lái)了功率密度節(jié)節(jié)攀升的問(wèn)題,高熱密度給制冷設(shè)備和技術(shù)提出了更高要求。受限于物理空間以及空氣比熱容低的特性,風(fēng)冷技術(shù)難以滿足高功率元器件散熱負(fù)荷需求,如圖1所示。
同時(shí),國(guó)家層面不斷推進(jìn)數(shù)據(jù)中心綠色低碳建設(shè)要求,工信部等七部委聯(lián)合印發(fā)的《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》中明確提到,到2025年,全國(guó)新建大型、超大型數(shù)據(jù)中心能源利用效率(PUE)降到1.3以下。液體的冷卻能力是空氣的1000~3000倍,液冷技術(shù)以其高效的散熱能力,成為降低數(shù)據(jù)中心PUE的有效手段。
綜上所述,在數(shù)據(jù)中心建設(shè)引入液冷技術(shù)的必要前提下,需要統(tǒng)籌考慮液冷技術(shù)引入對(duì)數(shù)據(jù)中心硬件系統(tǒng)集成建設(shè)提出的新挑戰(zhàn)。本文將重點(diǎn)介紹冷板式、浸沒(méi)式、噴淋式液冷技術(shù)路線,聚焦冷板式液冷場(chǎng)景下數(shù)據(jù)中心硬件系統(tǒng)集成的技術(shù)要求,提出冷板式液冷場(chǎng)景下數(shù)據(jù)中心硬件系統(tǒng)集成方案。
1 液冷技術(shù)
液冷技術(shù)是一種以液體作為冷媒,利用液體流動(dòng)將數(shù)據(jù)中心ICT設(shè)備內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外,使ICT設(shè)備的發(fā)熱部件得到冷卻,從而保證ICT設(shè)備安全運(yùn)行。根據(jù)接觸方式的不同,液冷技術(shù)可分為間接接觸型液冷(冷板式液冷)和直接接觸型液冷(浸沒(méi)式液冷和噴淋式液冷)。
1.1間接接觸型液冷技術(shù)
間接接觸型液冷以冷板式液冷技術(shù)為主,該種技術(shù)路線將液冷冷板固定在ICT設(shè)備的主要發(fā)熱器件上, ICT設(shè)備熱源與冷卻液之間沒(méi)有直接接觸,通過(guò)液體流經(jīng)冷板帶走熱量,從而散熱。
冷板式液冷技術(shù)的邏輯架構(gòu)如圖 2 所示。其主要組件如下。
冷卻塔指將液體回路產(chǎn)生的熱量散布到室外空氣中的設(shè)備,一般情況下置于室外。 液冷分配單元(CDU)指對(duì)液冷電子設(shè)備進(jìn)行冷卻液體流量分配,主要有兩種物理形態(tài),分別為柜式CDU(外置于全液冷機(jī)柜)和框式CDU(內(nèi)置于全液冷柜)。 液冷機(jī)柜指用于冷卻液體的進(jìn)出,并冷卻電子設(shè)備的裝置。 一次側(cè)也叫一次管路,指連接冷卻塔到液冷分配單元及液冷機(jī)柜的循環(huán)水系統(tǒng)。 二次側(cè)也叫二次管路,用于連接液冷分配單元到液冷元器件(液冷機(jī)柜中)的冷卻循環(huán)水系統(tǒng)。其中, 供回液歧管作為二次側(cè)回路中的關(guān)鍵部件之一,可分配流入或流出液冷機(jī)架內(nèi)設(shè)備的冷卻工質(zhì)。
從應(yīng)用場(chǎng)景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢(shì)等多個(gè)方面對(duì)冷板式液冷技術(shù)進(jìn)行分析,具體分析結(jié)果見(jiàn)表一。
1.2 直接接觸型液冷技術(shù)
直接接觸型液冷技術(shù)指的是將電子設(shè)備的發(fā)熱部件直接與冷卻液進(jìn)行接觸的冷卻方式,主要包括浸沒(méi)式液冷和噴淋式液冷兩種技術(shù)路線。
浸沒(méi)式液冷指通過(guò)浸沒(méi)電子設(shè)備的發(fā)熱器件,將發(fā)熱器件與冷卻液體直接接觸,通過(guò)熱交換進(jìn)行冷卻。涉及的主要設(shè)備和設(shè)施包括室外冷源、冷卻子系統(tǒng)、液冷管路和浸沒(méi)腔體(液冷機(jī)箱)等。浸沒(méi)式液冷可依據(jù)介質(zhì)是否存在相變化分為單相浸沒(méi)式液冷和相變浸沒(méi)式液冷兩種類(lèi)型。
單相浸沒(méi)式液冷的實(shí)現(xiàn)原理是通過(guò)浸沒(méi)腔體子系統(tǒng)中的冷卻液對(duì)電子設(shè)備熱負(fù)載直接接觸進(jìn)行吸熱,升溫后的冷卻液在冷卻子系統(tǒng)中的循環(huán)泵和換熱器作用下將熱量傳遞給一次側(cè)冷卻介質(zhì),最終通過(guò)室外冷源將熱量釋放到室外環(huán)境中。
兩相浸沒(méi)式液冷的實(shí)現(xiàn)原理是通過(guò)浸沒(méi)腔體子系統(tǒng)中冷卻液冷對(duì)電子設(shè)備熱負(fù)載直接接觸式相變吸熱,相變后的氣態(tài)冷媒與浸沒(méi)腔體內(nèi)的冷凝器進(jìn)行熱交換,將熱量傳遞給冷卻介質(zhì)后變成液體,液體受重力作用流回腔體,吸收熱量的冷卻介質(zhì)經(jīng)室外冷源設(shè)備將熱量釋放到室外環(huán)境中。
噴淋式液冷技術(shù)指的是通過(guò)在機(jī)箱頂部?jī)?chǔ)液和開(kāi)孔,對(duì)發(fā)熱的電子器件噴淋冷卻液,從而達(dá)到降溫的目的。涉及的主要設(shè)備和設(shè)施包括室外散熱模塊、冷量分配單元、液冷管路、噴淋液冷機(jī)柜(進(jìn)液箱和回液箱) 等。噴淋式液冷將在冷量分配單元內(nèi)冷卻后的冷卻液泵輸送至噴淋機(jī)柜內(nèi)部 ;冷卻液進(jìn)入機(jī)柜后直接通過(guò)分液器進(jìn)入與設(shè)備相對(duì)應(yīng)的布液裝置進(jìn)行噴淋 ;冷卻液通過(guò)電子設(shè)備中的發(fā)熱器件或與之相連的導(dǎo)熱材料進(jìn)行噴淋制冷 ;被加熱后的冷卻液通過(guò)回液箱進(jìn)行收集,并通過(guò)泵輸送至冷量分配單元進(jìn)行下一個(gè)制冷循環(huán)。
針對(duì)浸沒(méi)式液冷技術(shù)和噴淋式液冷技術(shù),分別從應(yīng)用場(chǎng)景、行業(yè)應(yīng)用現(xiàn)狀及技術(shù)本身的優(yōu)劣勢(shì)進(jìn)行多維度分析,具體分析結(jié)果見(jiàn)表 2。
2 傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成方案
傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成主要完成工程項(xiàng)目中硬件層多廠家、多類(lèi)型設(shè)備的硬集方案規(guī)劃、集成實(shí)施和聯(lián)調(diào)交付等工作, 是工程設(shè)計(jì)的延伸和落地,為軟件系統(tǒng)集成 入場(chǎng)實(shí)施提供必要的硬件系統(tǒng)環(huán)境。傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成工作流程如圖3所示。
傳統(tǒng)數(shù)據(jù)中心硬件集成方案中的重點(diǎn)工作環(huán)節(jié)說(shuō)明如下。
集成方案設(shè)計(jì)。對(duì)數(shù)據(jù)中心硬件組網(wǎng)拓?fù)、機(jī)柜布局、配電情況、物理連線信息、服務(wù)器配置信息、 交換機(jī)端口配置信息、路由配置信息、安全設(shè)備配置信息和設(shè)備管理信息等進(jìn)行規(guī)劃設(shè)計(jì)。
站點(diǎn)工勘。查勘內(nèi)容包括機(jī)房環(huán)境、機(jī)柜布局、 機(jī)架功率、橋架路由、供電方式和冷卻方式等。根據(jù)查勘結(jié)果,依據(jù)工程分工界面,對(duì)項(xiàng)目所需如線纜等材料的長(zhǎng)度、顏色等規(guī)格做出明確采購(gòu)方案,對(duì)機(jī)房?jī)?nèi)必要 改造所需輔材制定明確采購(gòu)方案。
輔材提供。根據(jù)設(shè)計(jì)圖紙和分工界面,由對(duì)應(yīng)責(zé)任單位提供相關(guān)輔材。輔材主要包括線纜和工程建設(shè)所需的必要輔材,如扎帶、加強(qiáng)型托盤(pán)、L托架、冷壓端子、魔術(shù)貼、光纖套管、繞纖筒、下纖槽、工業(yè)連接器、標(biāo)簽、 銅鼻子、纏繞管、接線柱、理線架和保溫棉等。
硬件安裝督導(dǎo)。督導(dǎo)數(shù)據(jù)中心工程建設(shè)項(xiàng)目所有主設(shè)備安裝上架、加電,督導(dǎo)完成所有線纜布放及互聯(lián),且完成相應(yīng)網(wǎng)絡(luò)互通配置。設(shè)備及配套材料安裝需符合相關(guān)工藝標(biāo)準(zhǔn)和要求。
設(shè)備初始化調(diào)測(cè)。完成所有硬件設(shè)備本機(jī)基礎(chǔ)配置與調(diào)測(cè),如服務(wù)器BMC、RAID、BIOS等配置與調(diào)測(cè),硬件管理接入交換機(jī)、管理核心交換機(jī)等的基礎(chǔ)配置與調(diào)測(cè),完成硬件管理網(wǎng)絡(luò)互通。
連通性測(cè)試。數(shù)據(jù)中心工程建設(shè)項(xiàng)目所有硬件設(shè)備以集成設(shè)計(jì)方案為準(zhǔn)繩進(jìn)行配置檢查,電源和物理線纜按設(shè)計(jì)完成連接和互通性測(cè)試,確認(rèn)所有設(shè)備硬件管理IP地址可達(dá)。
配合軟件集成商。配合軟件集成商完成技術(shù)方案中所涉及的各種設(shè)備組網(wǎng)、業(yè)務(wù)功能分析等。配合進(jìn)行軟硬件系統(tǒng)部署調(diào)測(cè),對(duì)軟件集成過(guò)程中產(chǎn)生的計(jì)算、 網(wǎng)絡(luò)和存儲(chǔ)等資源需求的變更進(jìn)行相應(yīng)調(diào)整,協(xié)助軟件集成商進(jìn)行軟硬件多廠家間問(wèn)題界定、協(xié)調(diào)與管理。
3 液冷數(shù)據(jù)中心硬件系統(tǒng)集成技術(shù)方案
液冷場(chǎng)景下的數(shù)據(jù)中心硬件系統(tǒng)集成方案,應(yīng)在參照傳統(tǒng)數(shù)據(jù)中心硬件系統(tǒng)集成流程的基礎(chǔ)上,在集成規(guī)劃、集成實(shí)施和聯(lián)調(diào)交付階段針對(duì)液冷數(shù)據(jù)中心技術(shù)特點(diǎn)進(jìn)行調(diào)整與適配,以滿足液冷數(shù)據(jù)中心工程建設(shè)要求。下面將以當(dāng)前成熟度最高、市場(chǎng)應(yīng)用最為廣泛的冷板式液冷技術(shù)方案為例,對(duì)液冷數(shù)據(jù)中心硬件系統(tǒng)集成的重點(diǎn)環(huán)節(jié)進(jìn)行分析。
3.1 站點(diǎn)工勘階段
一般情況下,液冷系統(tǒng)一次側(cè)設(shè)備及管路的安裝由 基建或機(jī)電專(zhuān)業(yè)負(fù)責(zé),不在數(shù)據(jù)中心硬件系統(tǒng)集成范圍之內(nèi)。但是,因?yàn)镃DU需要和一次側(cè)管路對(duì)接,站點(diǎn)工勘過(guò)程中需要重點(diǎn)關(guān)注一次側(cè)循環(huán)水質(zhì),一次側(cè)循環(huán)水水質(zhì)的好壞直接影響CDU的換熱效率和使用壽命。為支撐液冷系統(tǒng)長(zhǎng)期穩(wěn)定運(yùn)行,CDU一次側(cè)閉式循環(huán)水系統(tǒng)水質(zhì)關(guān)鍵指標(biāo)項(xiàng)見(jiàn)表3。
3.2 設(shè)備到貨階段
為保障液冷系統(tǒng)氣密性,一般液冷機(jī)柜、服務(wù)器和交換機(jī)等設(shè)備在出廠時(shí),會(huì)在液冷管路中填充保壓氣體。設(shè)備到貨后,除常規(guī)檢查外,首先應(yīng)重點(diǎn)關(guān)注液冷管路完整性,有條件情況下,可以抽測(cè)液冷管路中的保壓氣體壓力值是否正常 ;其次,設(shè)備搬運(yùn)工程時(shí),在遵守安全施工相關(guān)規(guī)章制度的同時(shí),應(yīng)著重關(guān)注承壓管路的保護(hù)。
3.3 硬件安裝階段 3.3.1 CDU 及二次側(cè)管路安裝
二次側(cè)管路將 CDU 和末端設(shè)備冷板相連,一般連接方式有直連和環(huán)形管路連接兩種。環(huán)形管路是二次側(cè)回路中的一個(gè)關(guān)鍵部件,用于連接CDU的二次側(cè)和機(jī)架歧管,實(shí)現(xiàn)冷卻工質(zhì)均勻分配 ;環(huán)形管網(wǎng)包含供液環(huán)管、回液環(huán)管、CDU支路、機(jī)架歧管支路、排氣裝置和排液口等,用以供液環(huán)管和回液環(huán)管分別形成環(huán)狀閉合回路,且提高環(huán)狀閉合回路系統(tǒng)的流量均勻性。另外, 環(huán)形管網(wǎng)中無(wú)死端,液體一直處于流動(dòng)狀態(tài),不易變質(zhì)。
每個(gè)CDU支路和機(jī)架支路上都安裝有閥門(mén)連接CDU和機(jī)架歧管,便于單個(gè)設(shè)備的維護(hù)。為確保局部管段檢修或發(fā)生故障時(shí),其它管段能正常運(yùn)行,不間斷供液, 應(yīng)采用閥門(mén)將環(huán)形管網(wǎng)分成若干獨(dú)立段,一般相鄰機(jī)架管路段之間用閥門(mén)隔開(kāi),也可將多個(gè)機(jī)架管路隔開(kāi)。
3.3.2 主設(shè)備安裝前檢查
主設(shè)備安裝前,需要對(duì)CDU及二次側(cè)管路的氣密性進(jìn)行檢查,進(jìn)行泄露檢測(cè)與干預(yù)。減少泄漏的主要方法是采用穩(wěn)健的泄漏預(yù)防策略。同時(shí),在實(shí)際設(shè)備安裝操作中,需要制定完善的泄漏管理計(jì)劃,管理計(jì)劃包括泄漏檢測(cè)和干預(yù),且需要滿足數(shù)據(jù)中心的設(shè)施運(yùn)行要求。
在二次側(cè)冷卻回路中,需要在不同存在泄漏風(fēng)險(xiǎn)的位置進(jìn)行檢測(cè),如CDU、機(jī)架、快換接頭、計(jì)算節(jié)點(diǎn)等, 可采用間接檢測(cè)方法,通過(guò)監(jiān)測(cè)和分析現(xiàn)有硬件和傳感器的狀態(tài),檢測(cè)并識(shí)別到管路中與泄漏特征匹配的微小壓降或流量變化。而直接檢測(cè)方法是在高風(fēng)險(xiǎn)區(qū)域部署專(zhuān)用泄漏檢測(cè)硬件。典型的直接檢測(cè)裝置為點(diǎn)探測(cè)器、薄膜檢測(cè)帶或泄漏檢測(cè)線纜,當(dāng)其與泄漏的導(dǎo)電冷卻液接觸時(shí)會(huì)記錄并告警。為了進(jìn)行可靠的泄漏檢測(cè), 其傳感器應(yīng)放置在發(fā)生泄漏時(shí)冷卻工質(zhì)與之直接接觸或有可能聚集后再接觸的區(qū)域,如機(jī)架、CDU、二次側(cè)環(huán)路管道等設(shè)施的下方,以檢測(cè)二次側(cè)環(huán)路管路和機(jī)架之間或冷卻工質(zhì)輸送過(guò)程中的潛在泄漏風(fēng)險(xiǎn)。
3.3.3 主設(shè)備安裝
服務(wù)器和交換機(jī)等設(shè)備安裝需要根據(jù)工程設(shè)計(jì)圖紙及集成方案組織相關(guān)工作。設(shè)備安裝前需要做好機(jī)房?jī)?nèi)部成品防護(hù)工作,避免給機(jī)房環(huán)境帶來(lái)破壞。設(shè)備安裝需提前完成設(shè)備出庫(kù)和拆包裝等工序,組織施工人員進(jìn)行技術(shù)培訓(xùn),聯(lián)合設(shè)備廠家進(jìn)行設(shè)備安裝指導(dǎo),避免設(shè)備安裝方式錯(cuò)誤導(dǎo)致設(shè)備損壞的情況。
針對(duì)采用冷板式冷卻方式的液冷設(shè)備及機(jī)柜的安裝,流程如圖4所示。
在設(shè)備安裝過(guò)程中,重點(diǎn)需要進(jìn)行氣密性檢查,各設(shè)備檢查內(nèi)容見(jiàn)表4。
3.3.4 標(biāo)簽粘貼
設(shè)備安裝、綜合布線等工作完成后,除常規(guī)進(jìn)行設(shè)備和線纜等部件的標(biāo)簽標(biāo)記工作外,還應(yīng)注意對(duì)液冷管路的標(biāo)簽標(biāo)記。在標(biāo)簽制作與粘貼的過(guò)程中,標(biāo)簽的顏色、尺寸、內(nèi)容、格式和粘帖位置等需符合工程建設(shè)項(xiàng)目相關(guān)要求。
3.4 集成調(diào)測(cè)階段
主設(shè)備及液冷系統(tǒng)安裝完成后,需要對(duì)安裝完成后的設(shè)備/系統(tǒng)進(jìn)行集成調(diào)測(cè)。除常規(guī)進(jìn)行網(wǎng)絡(luò)、服務(wù)器、存儲(chǔ)和安全等設(shè)備的基礎(chǔ)調(diào)測(cè),還需要對(duì)液冷系統(tǒng)進(jìn)行集成調(diào)測(cè),其中主要完成CDU設(shè)備的調(diào)測(cè)。CDU設(shè)備調(diào)測(cè)的主要內(nèi)容包括登錄參數(shù)設(shè)置、電磁閥/傳感器控制策略設(shè)置和告警設(shè)置等。
3.5 驗(yàn)收測(cè)試階段 集成測(cè)試工作完成,且所有測(cè)試項(xiàng)均達(dá)到測(cè)試標(biāo)準(zhǔn)后,可以組織硬件集成的驗(yàn)收工作。整體驗(yàn)收過(guò)程應(yīng)參考驗(yàn)收規(guī)范要求,涵蓋機(jī)房環(huán)境、硬件安裝工藝檢查、設(shè)備 配置、連通性及健壯性、安全性等內(nèi)容。針對(duì)液冷數(shù)據(jù)中心硬件集成系統(tǒng),需著重關(guān)注的驗(yàn)收測(cè)試內(nèi)容見(jiàn)表5。
4 結(jié)束語(yǔ)
中國(guó)“雙碳”目標(biāo)的提出,對(duì)數(shù)據(jù)中心發(fā)展提出更高的能耗要求。液冷行業(yè)也在不斷完善產(chǎn)業(yè)鏈,提高原材料和配件的通用性和可獲得性,降低成本。為積極應(yīng)對(duì)液冷數(shù)據(jù)中心建設(shè)提出的新要求,液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作急需更新與適配,針對(duì)不同液冷技術(shù)方案, 形成標(biāo)準(zhǔn)的、可執(zhí)行的硬件系統(tǒng)集成作業(yè)模式,推動(dòng)液冷數(shù)據(jù)中心硬件系統(tǒng)集成工作的高質(zhì)量發(fā)展。
來(lái)源:熱能工匠 免責(zé)聲明:僅供參考學(xué)習(xí),版權(quán)歸原創(chuàng)作者所有,如因作品內(nèi)容、版權(quán)等存在問(wèn)題,煩請(qǐng)聯(lián)系小編進(jìn)行刪除。
關(guān)于我們 北京漢深流體技術(shù)有限公司是丹佛斯中國(guó)數(shù)據(jù)中心簽約代理商。產(chǎn)品包括FD83全流量自鎖球閥接頭,UQD系列液冷快速接頭、EHW194 EPDM液冷軟管、電磁閥、壓力和溫度傳感器及Manifold的生產(chǎn)和集成服務(wù)。在國(guó)家數(shù)字經(jīng)濟(jì)、東數(shù)西算、雙碳、新基建戰(zhàn)略的交匯點(diǎn),公司聚焦組建高素質(zhì)、經(jīng)驗(yàn)豐富的液冷工程師團(tuán)隊(duì),為客戶提供卓越的工程設(shè)計(jì)和強(qiáng)大的客戶服務(wù)。 公司產(chǎn)品涵蓋:丹佛斯液冷流體連接器、EPDM軟管、電磁閥、壓力和溫度傳感器及Manifold。
|
|