    |
||
 |
 |
 |
|
||||||
|
|
|
|
除了業(yè)界目前廣泛嘗試的CPU和GPU液冷，對(duì)高功耗內(nèi)存，固態(tài)硬盤(pán)，OCP網(wǎng)卡，PSU電源，PCIe和光模塊液冷也進(jìn)行了深入的探索和研究，打造行業(yè)最高液冷覆蓋率，滿足用戶多種液冷覆蓋占比部署要求，為互聯(lián)網(wǎng)、通訊等行業(yè)客戶提供通用基礎(chǔ)能力及多樣化技術(shù)支持。
此次全液冷冷板系統(tǒng)開(kāi)發(fā)是基于浪潮信息2U四節(jié)點(diǎn)高密計(jì)算服務(wù)器i24，每個(gè)液冷節(jié)點(diǎn)支持兩顆英特爾第五代至強(qiáng)平臺(tái)可擴(kuò)展處理器，搭配16根DDR5內(nèi)存，1張PCIe擴(kuò)展卡和1張 OCP3.0網(wǎng)卡。整機(jī)可支持8張SSD固態(tài)硬盤(pán)，在實(shí)現(xiàn)高密算力的同時(shí)滿足客戶存儲(chǔ)需求。服務(wù)器主要的發(fā)熱部件包括CPU、內(nèi)存， I/O 板卡, 本地硬盤(pán)，機(jī)箱電源等。 液冷方案實(shí)現(xiàn)了系統(tǒng)中95%左右的熱量通過(guò)冷板接觸熱源由液體直接帶走，剩余5%左右的熱量經(jīng)由PSU電源后置的風(fēng)液式換熱器里面的冷卻水帶走，系統(tǒng)級(jí)即可實(shí)現(xiàn)接近100%液冷熱捕獲率。 下載鏈接： 浸沒(méi)式液冷發(fā)展迅速，“巨芯冷卻液”實(shí)現(xiàn)國(guó)產(chǎn)突破 兩相浸沒(méi)式液冷—系統(tǒng)制造的理想實(shí)踐 浸沒(méi)液冷服務(wù)器可靠性白皮書(shū) 天蝎5.0浸沒(méi)式液冷整機(jī)柜技術(shù)規(guī)范 AIGC加速芯片級(jí)液冷散熱市場(chǎng)爆發(fā) 某液冷服務(wù)器性能測(cè)試臺(tái)的液冷系統(tǒng)設(shè)計(jì) 《數(shù)據(jù)中心液冷技術(shù)合集》 《內(nèi)存技術(shù)應(yīng)用研究及展望合集》
2U四節(jié)點(diǎn)全液冷服務(wù)器系統(tǒng)由節(jié)點(diǎn)、機(jī)箱、中背板、固態(tài)硬盤(pán)模組組成。節(jié)點(diǎn)和機(jī)箱組件間 通過(guò)快接頭、電源及信號(hào)連接器實(shí)現(xiàn)水、電、信號(hào)盲插。
2）全液冷服務(wù)器單節(jié)點(diǎn)介紹 全液冷服務(wù)器的節(jié)點(diǎn)由節(jié)點(diǎn)外殼、主板、CPU芯片、內(nèi)存模組、內(nèi)存冷板、CPU冷板，IO冷板，電源及電源后置換熱器等組成。 2. 通流方式選擇及流量計(jì)算
1）為了確保二次側(cè)管路材料的長(zhǎng)期可靠性，二次側(cè)回水溫度不超過(guò)65?C； 2）確保全液冷服務(wù)器各零部件在定義的邊界條件下滿足散熱需求，選取銅冷板+PG25作為流量設(shè)計(jì)分析。 為了滿足二次側(cè)回水溫不超過(guò)65?C要求，通過(guò)下列公式計(jì)算出單節(jié)點(diǎn)PG25最小流量Qmin：Qmin=Psys/(ρ*C*?T) ≈1.3 (LPM)
3.全液冷服務(wù)器冷板關(guān)鍵部件設(shè)計(jì)
CPU冷板模組是基于英特爾第五代至強(qiáng)平臺(tái)可擴(kuò)展處理器冷板的設(shè)計(jì)要求，綜合考慮散熱， 結(jié)構(gòu)性能，成品率，價(jià)格及不同材質(zhì)冷板設(shè)計(jì)兼容性等因素優(yōu)化而成的一款CPU冷板參考設(shè)計(jì)，主要由CPU冷板鋁支架，CPU冷板及冷板接頭等部件組成。 2）內(nèi)存液冷設(shè)計(jì) 內(nèi)存液冷設(shè)計(jì)采用的是創(chuàng)新型的枕木散熱器液冷方案，因內(nèi)存插滿如鐵軌上的枕木而得名。它 將傳統(tǒng)風(fēng)冷散熱和冷板散熱相結(jié)合，通過(guò)內(nèi)置熱管的散熱器（或純鋁/銅板、Vapor Chamber 等） 把內(nèi)存上的熱量傳遞至兩端，與冷板通過(guò)選定的導(dǎo)熱墊片接觸，最終通過(guò)冷板內(nèi)的冷卻工質(zhì)把 熱量帶走實(shí)現(xiàn)內(nèi)存散熱。 內(nèi)存跟散熱器可在系統(tǒng)外通過(guò)治具進(jìn)行組裝形成最小維護(hù)單元（下文稱(chēng)之為內(nèi)存模組）。內(nèi)存 冷板上設(shè)計(jì)有內(nèi)存模組固定結(jié)構(gòu)可確保散熱器和內(nèi)存冷板之間良好接觸，內(nèi)存模組固定結(jié)構(gòu)根 據(jù)需要可以用螺絲固定或者無(wú)工具維護(hù)。內(nèi)存冷板頂部給內(nèi)存散熱，底部則可以根據(jù)需要給主 板其他發(fā)熱元器件散熱，比如VR，最大化利用內(nèi)存冷板。為簡(jiǎn)化內(nèi)存冷板設(shè)計(jì)，內(nèi)存和主板之 間可以設(shè)計(jì)轉(zhuǎn)接支架來(lái)滿足不同主板的限高區(qū)。 與市場(chǎng)上現(xiàn)有的管路（Tubing）內(nèi)存液冷方案相比，枕木散熱器液冷方案的主要優(yōu)勢(shì)有： 易于維護(hù)。內(nèi)存維護(hù)時(shí)只需像維護(hù)風(fēng)冷內(nèi)存一樣維護(hù)內(nèi)存模組，無(wú)需將散熱器和扣具取下，極 大地提高了液冷內(nèi)存組裝效率和可靠性，降低了內(nèi)存在系統(tǒng)內(nèi)拆裝時(shí)可能對(duì)內(nèi)存顆粒和導(dǎo)熱墊 片造成的損傷。 通用性好。不同內(nèi)存的顆粒厚度和內(nèi)存間距不影響該方案的散熱性能，該方案最小適應(yīng)7.5毫 米的內(nèi)存間距，往上兼容。散熱器和冷板解耦設(shè)計(jì)，可重復(fù)利用和內(nèi)存液冷標(biāo)準(zhǔn)化。 更高的性?xún)r(jià)比。內(nèi)存散熱器可根據(jù)內(nèi)存功耗選取不同的工藝和散熱技術(shù)，且數(shù)量可根據(jù)內(nèi)存按 需配置。在7.5毫米內(nèi)存間距情況下，即可滿足30W以上內(nèi)存的散熱需求。 易于制造和組裝。內(nèi)存插槽之間沒(méi)有液冷管路，無(wú)需復(fù)雜的管路焊接和工藝控制，可以采用傳 統(tǒng)風(fēng)冷散熱器和通用的CPU冷板制造工藝。組裝散熱器時(shí)，散熱性能對(duì)散熱器和主板在垂直于 內(nèi)存顆粒平面方向的公差不敏感，不會(huì)出現(xiàn)熱接觸不良，更容易組裝。 可靠性好。枕木液冷方案避免了組裝過(guò)程中可能對(duì)內(nèi)存顆粒和導(dǎo)熱墊片造成的損傷，并可滿足 多次插拔需求。此外，它還避免了內(nèi)存和管路液冷散熱方案安裝后內(nèi)存與插槽間由于傾斜而造 成信號(hào)接觸不良的風(fēng)險(xiǎn)，極大地提升系統(tǒng)可靠性。
3）硬盤(pán)液冷設(shè)計(jì) 此固態(tài)硬盤(pán)液冷方案主要由裝有散熱器的固態(tài)硬盤(pán)模組，固態(tài)硬盤(pán)冷板，硬盤(pán)模組鎖緊機(jī) 構(gòu)，及硬盤(pán)支架組成。硬盤(pán)模組鎖緊機(jī)構(gòu)固定在硬盤(pán)支架上提供合適的預(yù)緊力來(lái)保證固態(tài)硬 盤(pán)模組和固態(tài)硬盤(pán)冷板的長(zhǎng)期接觸可靠性。為了方便硬盤(pán)冷板環(huán)路在狹小空間內(nèi)的安裝，硬 盤(pán)支架在服務(wù)器深度方向采用了抽屜式的安裝方式設(shè)計(jì)。 相比業(yè)界已有的硬盤(pán)液冷嘗試，此方案的先進(jìn)性主要體現(xiàn)在： 可支持30次以上系統(tǒng)不斷電熱插拔 硬盤(pán)安裝過(guò)程中對(duì)導(dǎo)熱界面材料無(wú)剪切破環(huán)風(fēng)險(xiǎn)，鎖緊機(jī)構(gòu)的設(shè)計(jì)可以保證長(zhǎng)期的接觸 可靠性 液冷散熱方案對(duì)加工工藝要求低，只需采用傳統(tǒng)的風(fēng)冷和CPU冷板加工工藝 硬盤(pán)間無(wú)水設(shè)計(jì)，多硬盤(pán)可供用同一冷板，減少了接頭數(shù)量，降低漏液風(fēng)險(xiǎn) 可靈活適配不同厚度和數(shù)量的固態(tài)硬盤(pán)系統(tǒng)
4）PCIe/OCP卡液冷設(shè)計(jì) PCIe卡液冷方案是基于現(xiàn)有風(fēng)冷PCIe卡，通過(guò)開(kāi)發(fā)一款可以與系統(tǒng)冷板接觸的PCIe卡散熱模 塊來(lái)實(shí)現(xiàn)對(duì)光模塊及PCIe卡上主要芯片的散熱。光模塊的熱量通過(guò)熱管傳導(dǎo)到與PCIe卡主芯 片上的散熱模塊主體，散熱模塊主體與IO冷板通過(guò)合適的導(dǎo)熱界面材料接觸實(shí)現(xiàn)換熱。液冷PCIe卡主要由QSFP散熱板夾子、PCIe芯片散熱模塊及PCIe卡組成。QSFP散熱板夾子要 設(shè)計(jì)合適的彈性量，確保與PCIe散熱模塊上的QSFP散熱板和籠子配合實(shí)現(xiàn)光模塊安裝時(shí)的合 適浮動(dòng)量，以保證良好的用戶體驗(yàn)，避免損壞光模塊，并實(shí)現(xiàn)良好的接觸穩(wěn)定性而達(dá)到預(yù)期 的散熱效果。
1.2 OCP3.0液冷方案 OCP3.0卡液冷方案跟PCIe卡類(lèi)似，通過(guò)給OCP3.0卡定制一款液冷散熱器，把卡上發(fā)熱芯片 熱量傳導(dǎo)到液冷散熱器，最終通過(guò)散熱器與系統(tǒng)IO冷板的接觸把熱量帶走實(shí)現(xiàn)散熱。 OCP3.0液冷模組主要由散熱器模塊，OCP3.0卡及其支架組成。鎖緊機(jī)構(gòu)由于空間限制采用 了彈簧螺釘，以保證液冷OCP3.0卡組裝后散熱器模塊與IO冷板之間的長(zhǎng)期接觸可靠性。 考慮到后期維護(hù)的便利性及OCP3.0卡的多次熱插拔需求，鎖緊機(jī)構(gòu)的設(shè)計(jì)和導(dǎo)熱界面材料的 選型也做了很多優(yōu)化來(lái)提高整體方案的可靠性及運(yùn)維的便利性。 1.3 IO冷板方案 IO冷板是具有多功能的冷板，不僅僅實(shí)現(xiàn)主板IO區(qū)域內(nèi)的發(fā)熱部件的散熱，也實(shí)現(xiàn)了液冷 PCIe卡和液冷OCP3. 0卡的散熱。
IO冷板主要由IO冷板主體和銅管流道組成。IO冷板主體采用鋁合金材質(zhì)，銅管主要承擔(dān)冷卻 工質(zhì)流道和加強(qiáng)散熱的作用，具體設(shè)計(jì)需要根據(jù)主板布局及部件的散熱要求進(jìn)行優(yōu)化。液冷 PCIe卡及液冷OCP3.0卡上的散熱模塊與IO冷板沿箭頭方向接觸。冷卻工質(zhì)流道材料的選型需 要考慮與系統(tǒng)管路冷卻工質(zhì)及浸潤(rùn)材料的兼容性。 此IO冷板液冷方案實(shí)現(xiàn)了多個(gè)部件在多維度的組裝需求，銅鋁材質(zhì)的混合使用，解決了材料 兼容性問(wèn)題，保證散熱效果，同時(shí)幫助減輕60%冷板重量并降低了成本。 5）電源冷板設(shè)計(jì) PSU后置換熱器為多層結(jié)構(gòu)，流道與鰭片相互疊加。PSU后置換熱器的尺寸須在不影響電源 線的插拔功能和滿足系統(tǒng)機(jī)柜空間限制的條件下，平衡散熱需求，重量及成本做出最優(yōu)選 擇。PSU后置換熱器獨(dú)立組裝在節(jié)點(diǎn)支架上。 此創(chuàng)新的電源液冷解決方案，無(wú)須重新開(kāi)發(fā)新的液冷專(zhuān)用電源，縮短開(kāi)發(fā)周期，降低開(kāi)發(fā)成 本；良好的通用性可以靈活適配多家廠商的電源方案，比定制化液冷電源節(jié)約成本60%以上。 針對(duì)于整機(jī)柜的應(yīng)用場(chǎng)景，電源液冷還可以采用集中式風(fēng)液換熱器的解決方案，即對(duì)整機(jī)柜 前后門(mén)進(jìn)行封閉，在機(jī)柜底部布置一個(gè)集中式風(fēng)液換熱器，借助集中式結(jié)構(gòu)替代PSU后置的 分布式風(fēng)液換熱器結(jié)構(gòu)。 集中式風(fēng)液換熱器是由噴涂親水涂層強(qiáng)化換熱的鋁制波紋翅片，配合高換熱系數(shù)銅管組成的 換熱器，可在能夠在10℃溫差下提供不低于8kW冷卻能力；換熱器流路仿真優(yōu)化，在低阻下 承載更多流量；具備防凝露設(shè)計(jì)和全方位漏液檢測(cè)，杜絕安全隱患。采用特殊的鉸鏈設(shè)計(jì)， 滿足高承重要求；同時(shí)卡盤(pán)式連接設(shè)計(jì)，方便安裝，易于維護(hù)。 按照單臺(tái)全液冷服務(wù)器超過(guò)95%熱量均由冷板解熱，僅有不足5%熱量需要風(fēng)液換熱器解熱計(jì) 算，單個(gè)節(jié)點(diǎn)僅有40-50W風(fēng)液解熱量，單臺(tái)集中式風(fēng)液換熱器支持8kW換熱量，可支持不 低于150節(jié)點(diǎn)的電源風(fēng)液散熱，且成本遠(yuǎn)低于150個(gè)分布式風(fēng)液散熱器價(jià)格。 利用該種方案，服務(wù)器電源可以不做任何改造，產(chǎn)生的熱量在機(jī)柜后部由集中式風(fēng)液換熱器 統(tǒng)一收集與熱交換，同時(shí)該部分熱量在機(jī)柜內(nèi)形成自有循環(huán)，不會(huì)對(duì)機(jī)房環(huán)境造成任何影 響，真正做到“Rack as a computer”。 來(lái)源：可鑒智庫(kù)
關(guān)于我們 北京漢深流體技術(shù)有限公司是丹佛斯中國(guó)數(shù)據(jù)中心簽約代理商。產(chǎn)品包括FD83全流量自鎖球閥接頭，UQD系列液冷快速接頭、EHW194 EPDM液冷軟管、電磁閥、壓力和溫度傳感器及Manifold的生產(chǎn)和集成服務(wù)。在國(guó)家數(shù)字經(jīng)濟(jì)、東數(shù)西算、雙碳、新基建戰(zhàn)略的交匯點(diǎn)，公司聚焦組建高素質(zhì)、經(jīng)驗(yàn)豐富的液冷工程師團(tuán)隊(duì)，為客戶提供卓越的工程設(shè)計(jì)和強(qiáng)大的客戶服務(wù)。 公司產(chǎn)品涵蓋：丹佛斯液冷流體連接器、EPDM軟管、電磁閥、壓力和溫度傳感器及Manifold。
|
||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||||
|
