歡迎來(lái)訪江蘇帕卓管路系統(tǒng)股份有限公司 官方網(wǎng)站!
歡迎來(lái)訪江蘇帕卓管路系統(tǒng)股份有限公司 官方網(wǎng)站!
剛剛過(guò)去的周末,光伏、儲(chǔ)能行業(yè)迎來(lái)重磅利好消息:摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià),在黃仁勛、奧特曼兩位大佬加持下“儲(chǔ)能與AI”的故事發(fā)酵。
圖片來(lái)源網(wǎng)絡(luò)
摩根士丹利調(diào)高寧德時(shí)代目標(biāo)價(jià)
3月10日,摩根士丹利發(fā)布報(bào)告,將中國(guó)電池巨頭寧德時(shí)代(CATL)的評(píng)級(jí)上調(diào)至“超配”,并設(shè)定目標(biāo)價(jià)為210元人民幣。在報(bào)告中,摩根士丹利分析師指出,寧德時(shí)代作為全球領(lǐng)先的電池制造商,受益于電動(dòng)汽車(chē)市場(chǎng)的快速增長(zhǎng)和電池需求的攀升。
摩根士丹利發(fā)布報(bào)告指出,隨著價(jià)格戰(zhàn)接近尾聲,寧德時(shí)代準(zhǔn)備通過(guò)新一代大規(guī)模生產(chǎn)線提高成本效率,并擴(kuò)大在凈資產(chǎn)收益率方面的優(yōu)勢(shì),看到寧德時(shí)代在基本面上的多個(gè)拐點(diǎn),上調(diào)公司評(píng)級(jí)至超配,并選為行業(yè)首選。
另外,據(jù)央視網(wǎng)10日?qǐng)?bào)道,寧德時(shí)代董事長(zhǎng)曾毓群在采訪時(shí)談到了近期多家歐美車(chē)企削減或推遲電動(dòng)化的話(huà)題,“歐美車(chē)企沒(méi)有回歸燃油車(chē),也沒(méi)有停止(電動(dòng)汽車(chē)),可能是因?yàn)椴毁嶅X(qián),所以往后延遲一陣?!?/p>
從儲(chǔ)能業(yè)務(wù)來(lái)看,寧德時(shí)代是當(dāng)之無(wú)愧的王者。國(guó)海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長(zhǎng)31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長(zhǎng)14%以上,環(huán)比增長(zhǎng)10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤(rùn)貢獻(xiàn)在90%,則測(cè)算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。
黃仁勛、奧特曼:AI的盡頭是光伏和儲(chǔ)能
消息面上,在算力爆炒之后,“儲(chǔ)能+AI”的故事在剛剛過(guò)去的這個(gè)周末發(fā)酵了。據(jù)報(bào)道,英偉達(dá)CEO黃仁勛在一次公開(kāi)演講中指出,AI未來(lái)發(fā)展與狀和儲(chǔ)能緊密相連。黃仁勛在演講中明確表示:“AI的盡頭是光伏和儲(chǔ)能!我們不能只想著算力,如果只考慮計(jì)算機(jī),我們需要燒掉14個(gè)地球的能源?!?/p>
早在2月27日,就有人在社交視頻上講“儲(chǔ)能與AI”的故事,引用的也是所謂“黃仁勛的演講”。與此同時(shí),OpenAI的創(chuàng)始人山姆·奧特曼也提出了類(lèi)似的看法。奧特曼表示,“未來(lái)AI的技術(shù)取決于能源,我們需要更多的光伏和儲(chǔ)能?!?/p>
ChatGPT日耗電超50萬(wàn)度
人工智能技術(shù)的快速發(fā)展,帶來(lái)了巨大的算力和能源消耗。據(jù)《紐約客》雜志報(bào)道,ChatGPT日耗電超50萬(wàn)度,相當(dāng)于1.7萬(wàn)個(gè)美國(guó)家庭,以響應(yīng)用戶(hù)的約2億個(gè)請(qǐng)求。
*近,在博世互聯(lián)2024大會(huì)上,馬斯克遠(yuǎn)程連線接受了博世CEO和董事長(zhǎng)的采訪。馬斯克提到人工智能的發(fā)展速度前所未見(jiàn),似乎每過(guò)6個(gè)月的時(shí)間,算力就會(huì)增加10倍,遠(yuǎn)遠(yuǎn)超出了摩爾定律每18個(gè)月翻番的速度。他預(yù)計(jì),兩年內(nèi)年將由“缺硅”變?yōu)椤叭彪姟?,而這可能阻礙AI的發(fā)展。
“目前算力增長(zhǎng)已經(jīng)面臨瓶頸,很明顯,接下來(lái)變壓器會(huì)陷入短缺,緊接著就是電力,等到2025年,我們將沒(méi)有足夠的電力來(lái)運(yùn)行所有的芯片?!瘪R斯克稱(chēng)。
事實(shí)上,馬斯克對(duì)電力短缺的擔(dān)憂(yōu)也不是一天兩天了,此前曾多次公開(kāi)強(qiáng)調(diào)解決日益增長(zhǎng)的電力需求的緊迫性。他認(rèn)為,需要加快項(xiàng)目進(jìn)度,以跟上不斷增長(zhǎng)的電力需求。
我國(guó)臺(tái)灣地區(qū)4月電價(jià)調(diào)漲箭在弦上,“電價(jià)工作小組”3月12日起將連開(kāi)4場(chǎng)討論會(huì)。其中民生用電擬分三級(jí)距調(diào)漲,*小漲幅700度(或500度)以下約漲5%,701~1000度約漲7%,1001度以上漲約10%;產(chǎn)業(yè)用電依產(chǎn)業(yè)別分三級(jí)距調(diào)漲,但連二年用電成長(zhǎng)、用電50億度以上“超級(jí)大戶(hù)”以公司別來(lái)看,調(diào)幅*高上看近3成,臺(tái)積電首當(dāng)其沖;但用電衰退面板、石化、鋼鐵,漲幅較小。4月電價(jià)方案平均漲幅在10~15%。
波士頓咨詢(xún)公司就曾分析稱(chēng),預(yù)計(jì)2030年左右,美國(guó)數(shù)據(jù)中心的電力消耗將較2022年增長(zhǎng)三倍,相當(dāng)于電力總需求的7.5%,會(huì)大幅提升社會(huì)用電量。
咨詢(xún)公司Grid Strategies也曾發(fā)布過(guò)一項(xiàng)研究,認(rèn)為美國(guó)未來(lái)五年的年度電力需求增長(zhǎng)大約在1.5%左右。而根據(jù)EIA的數(shù)據(jù),美國(guó)發(fā)電量近15年來(lái)才增加了不到3%。過(guò)慣了供需相對(duì)穩(wěn)定日子的美國(guó)供電體系,和面臨不少問(wèn)題的電網(wǎng),能否應(yīng)對(duì)驟然增長(zhǎng)的需求,尚有待觀察。
從儲(chǔ)能業(yè)務(wù)來(lái)看,寧德時(shí)代是當(dāng)之無(wú)愧的王者。國(guó)海證券預(yù)計(jì),該公司2023年動(dòng)力和儲(chǔ)能電池的出貨量達(dá)380GWh以上,同比增長(zhǎng)31%以上。單2023年四季度看,公司的出貨量達(dá)110GWh以上,同比增長(zhǎng)14%以上,環(huán)比增長(zhǎng)10%以上。按四季度中值計(jì)算,假設(shè)公司的電池業(yè)務(wù)利潤(rùn)貢獻(xiàn)在90%,則測(cè)算公司單Wh盈利在1毛左右,與公司2023年前三季度的單位盈利基本保持相當(dāng)。
AI大模型下的液冷發(fā)展趨勢(shì)
摘要
液冷是一種用液體來(lái)冷卻電子設(shè)備的散熱技術(shù),能夠顯著提高數(shù)據(jù)中心散熱效率。液冷技術(shù)根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷,其中間接液冷主要包括冷板式液冷,直接液冷包括浸沒(méi)式液冷和噴淋式液冷。冷板式液冷和浸沒(méi)式液冷是目前主流的液冷形式,冷板式液冷應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢(shì);浸沒(méi)式液冷冷卻效果*好,節(jié)能性上優(yōu)勢(shì)明顯,但可維護(hù)性和兼容性一般,多用于高功率密度機(jī)柜。
控制當(dāng)前數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷方案中冷板式技術(shù)更為普及。2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場(chǎng)份額。按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國(guó)冷板式液冷服務(wù)器比例為90%左右,浸沒(méi)式液冷滲透率為10%。
數(shù)據(jù)中心算力與能耗水漲船高,逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢(shì)所向。Chatgpt為代表的生成式人工智能模型拉升算力需求,百億參數(shù)成為模型涌現(xiàn)門(mén)檻,算力成為大模型性能提升的關(guān)鍵。大模型帶來(lái)大算力,大算力帶來(lái)高功耗,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片TDP更是達(dá)到700W。這也導(dǎo)致單服務(wù)器和單機(jī)柜功率均顯著上升,已經(jīng)逐漸超出風(fēng)冷散熱的覆蓋范圍,液冷散熱已成為必然趨勢(shì)。
PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力。PUE代表數(shù)據(jù)中心能源使用效率,等于數(shù)據(jù)中心總耗電/IT設(shè)備耗電,比值越接近于1,說(shuō)明能源越接近全部都用于IT設(shè)備負(fù)載上。我國(guó)數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。近幾年,國(guó)家與地方出臺(tái)了一系列針對(duì)新建與老舊數(shù)據(jù)中心PUE的管控計(jì)劃,明確要求東、西部樞紐節(jié)點(diǎn)數(shù)據(jù)中心PUE分別控制在1.25、1.2以下。而傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般在1.5左右,高于政策要求的范圍;液冷方案能夠有效降低冷卻系統(tǒng)的能耗水平,從而將數(shù)據(jù)中心整體PUE降低到1.05-1.2左右,滿(mǎn)足相關(guān)的政策要求。
數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素。數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營(yíng)成本(Opex)。根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)發(fā)布的報(bào)告進(jìn)行測(cè)算,以華東地區(qū)數(shù)據(jù)中心建設(shè)情況為例,現(xiàn)階段冷板式液冷方案的TCO甚至Capex已經(jīng)低于風(fēng)冷,浸沒(méi)式液冷方案的TCO也將在運(yùn)行五年左右之后出現(xiàn)低于風(fēng)冷方案的拐點(diǎn)。但是該測(cè)算結(jié)果依賴(lài)于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營(yíng)支出、水電費(fèi)與房租等運(yùn)營(yíng)成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對(duì)制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場(chǎng)景下液冷技術(shù)的經(jīng)濟(jì)性尚沒(méi)有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢(shì)下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長(zhǎng)服務(wù)器使用壽命,未來(lái)液冷數(shù)據(jù)中心TCO的優(yōu)勢(shì)將更加明顯。
控制數(shù)據(jù)中心液冷未來(lái)市場(chǎng)規(guī)模估算:到2025年,中國(guó)數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。
1液冷技術(shù)詳解
液冷是一種用液體來(lái)冷卻電子設(shè)備的散熱技術(shù)。液冷的工作原理是以液體作為冷媒,利用液體的高熱容和高熱傳導(dǎo)性能,通過(guò)液體流動(dòng)將IT設(shè)備的內(nèi)部元器件產(chǎn)生的熱量傳遞到設(shè)備外,使IT設(shè)備的發(fā)熱器件得到冷卻,以保證IT設(shè)備在安全溫度范圍內(nèi)運(yùn)行(本文主要討論數(shù)據(jù)中心應(yīng)用場(chǎng)景下的液冷技術(shù))。根據(jù)冷卻液與發(fā)熱器件的接觸方式不同,可以分為間接液冷和直接液冷。間接液冷是指服務(wù)器熱源與冷卻液之間沒(méi)有直接接觸的換熱過(guò)程,以冷板式液冷技術(shù)為主。直接液冷是指將發(fā)熱部件與冷卻液直接接觸的冷卻方式,包括浸沒(méi)式和噴淋式液冷技術(shù)。其中又可以根據(jù)冷卻液是否會(huì)發(fā)生液態(tài)到氣態(tài)的轉(zhuǎn)變,將浸沒(méi)式液冷分為單相浸沒(méi)式液冷和雙相浸沒(méi)式液冷。當(dāng)前,冷板式液冷和浸沒(méi)式液冷為液冷的主要形式。
液冷系統(tǒng)通用架構(gòu)包括室外側(cè)和室內(nèi)側(cè)兩部分:室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、液冷機(jī)柜、ICT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。室外側(cè)為外部冷源,通常為室外的冷水機(jī)組、冷卻塔或干冷器,熱量轉(zhuǎn)移主要通過(guò)水溫的升降實(shí)現(xiàn);室內(nèi)側(cè)包括供液環(huán)路和服務(wù)器內(nèi)部流道,主要通過(guò)冷卻液溫度的升降實(shí)現(xiàn)熱量轉(zhuǎn)移;兩個(gè)部分通過(guò)CDU中的板式換熱器發(fā)生間壁式換熱。
1.1 冷板式液冷
冷板式液冷屬于間接液冷,冷卻液不與服務(wù)器芯片直接接觸。冷板式液冷也被稱(chēng)作芯片級(jí)液冷,技術(shù)原理是通過(guò)在服務(wù)器組件(如 CPU、GPU等高發(fā)熱部件)上安裝液冷板(通常為銅鋁等導(dǎo)熱金屬構(gòu)成的封閉腔體),服務(wù)器組件通過(guò)導(dǎo)熱部件將熱量傳導(dǎo)到液冷板上,然后利用液冷板內(nèi)部的液體循環(huán)將熱量傳遞到遠(yuǎn)離服務(wù)器的散熱單元;同時(shí)一般會(huì)增設(shè)風(fēng)冷單元為低發(fā)熱元件進(jìn)行散熱。
冷板式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)、液冷機(jī)柜組成;其中液冷機(jī)柜內(nèi)包含液冷板、設(shè)備內(nèi)液冷管路、流體連接器、分液器等。
1.2 浸沒(méi)式液冷
浸沒(méi)式液冷屬于直接液冷,將發(fā)熱器件浸沒(méi)在冷卻液中進(jìn)行熱交換,依靠冷卻液流動(dòng)循環(huán)帶走熱量。
浸沒(méi)式液冷系統(tǒng)室外側(cè)包含冷卻塔、一次側(cè)管網(wǎng)、一次側(cè)冷卻液;室內(nèi)側(cè)包含 CDU、浸沒(méi)腔體、IT 設(shè)備、二次側(cè)管網(wǎng)和二次側(cè)冷卻液。使用過(guò)程中 IT設(shè)備完全浸沒(méi)在二次側(cè)冷卻液中,因此二次側(cè)循環(huán)冷卻液需要采用不導(dǎo)電液體,如礦物油、硅油、氟化液等。
浸沒(méi)式液冷根據(jù)冷卻液換熱過(guò)程中是否發(fā)生相變,可以進(jìn)一步分為單相浸沒(méi)式液冷和雙相浸沒(méi)式液冷技術(shù)。
1.2.1 單相浸沒(méi)式液冷
在單相浸沒(méi)式液冷中,冷卻液在熱量傳遞過(guò)程中僅發(fā)生溫度變化,而不存在相態(tài)轉(zhuǎn)變。單相浸沒(méi)式液冷的技術(shù)原理為:CDU循環(huán)泵驅(qū)動(dòng)二次側(cè)低溫冷卻液由浸沒(méi)腔體底部進(jìn)入,流經(jīng)豎插在浸沒(méi)腔體中的IT設(shè)備時(shí)帶走發(fā)熱器件熱量;吸收熱量升溫后的二次側(cè)冷卻液由浸沒(méi)腔體頂部出口流回CDU;通過(guò)CDU內(nèi)部的板式換熱器將吸收的熱量傳遞給一次側(cè)冷卻液;吸熱升溫后的一次側(cè)冷卻液通過(guò)外部冷卻裝置(如冷卻塔)將熱量排放到大氣環(huán)境中,完成整個(gè)冷卻過(guò)程。
1.2.2 雙相浸沒(méi)式液冷
雙相浸沒(méi)式液冷的不同之處在于冷卻液會(huì)發(fā)生相態(tài)轉(zhuǎn)變。雙相浸沒(méi)式液冷的傳熱路徑與單相浸沒(méi)液冷基本一致,主要差異在于二次側(cè)冷卻液僅在浸沒(méi)腔體內(nèi)部循環(huán)區(qū)域,浸沒(méi)腔體內(nèi)頂部為氣態(tài)區(qū)、底部為液態(tài)區(qū);IT設(shè)備完全浸沒(méi)在低沸點(diǎn)的液態(tài)冷卻液中,液態(tài)冷卻液吸收設(shè)備熱量后發(fā)生沸騰,汽化產(chǎn)生的高溫氣態(tài)冷卻液因密度較小,會(huì)逐漸匯聚到浸沒(méi)腔體頂部,與安裝在頂部的冷凝器發(fā)生換熱后冷凝為低溫液態(tài)冷卻液,隨后在重力作用下回流至腔體底部,實(shí)現(xiàn)對(duì)IT設(shè)備的散熱。
1.3 淋式液冷
噴淋式液冷屬于直接液冷,將冷卻液精準(zhǔn)噴灑于電子設(shè)備器件進(jìn)行散熱。冷卻液借助特制的噴淋板精準(zhǔn)噴灑至發(fā)熱器件或與之相連接的固體導(dǎo)熱材料上,并與之進(jìn)行熱交換,吸熱后的冷卻液換熱后將通過(guò)回液管、回液箱等集液裝置進(jìn)行收集并通過(guò)循環(huán)泵輸送至CDU進(jìn)行下一次制冷循環(huán)。
噴淋式液冷系統(tǒng)主要由冷卻塔、CDU、一次側(cè) & 二次側(cè)液冷管路、冷卻介質(zhì)和噴淋式液冷機(jī)柜組成;其中噴淋式液冷機(jī)柜通常包含管路系統(tǒng)、布液系統(tǒng)、噴淋模塊、回液系統(tǒng)等。
1.4 不同液冷方案的比較
1.4.1 冷板式液冷目前應(yīng)用*為廣泛,在改造成本、可維護(hù)性、兼容性方面具備優(yōu)勢(shì)
冷板式液冷的優(yōu)勢(shì)主要在于:
1)兼容性:冷板式液冷的改造成本相對(duì)較低,不需要對(duì)數(shù)據(jù)中心現(xiàn)有的機(jī)房及機(jī)柜進(jìn)行大規(guī)模改造,其適用的硬盤(pán)、光模塊等服務(wù)器部件與風(fēng)冷方案一致,運(yùn)維模式、機(jī)房承重與風(fēng)冷場(chǎng)景也基本一致;
2)散熱效果與節(jié)能性:冷卻效果和節(jié)能性要遠(yuǎn)好于風(fēng)冷,PUE可以達(dá)到1.2左右;(據(jù)《綠色高能效數(shù)據(jù)中心散熱冷卻技術(shù)研究現(xiàn)狀及發(fā)展趨勢(shì)》數(shù)據(jù)顯示,風(fēng)冷散熱下數(shù)據(jù)中心的 PUE 值通常在1.5左右)
3)可靠性:液體與設(shè)備不直接接觸,可靠性更高;
4)維護(hù)性:易開(kāi)展維護(hù)性設(shè)計(jì),可實(shí)現(xiàn)在線維護(hù)方案;
5)噪聲:風(fēng)機(jī)轉(zhuǎn)速大幅降低,噪聲值可至 70dB 左右。
冷板式液冷的局限性主要在于:
1)液體沒(méi)有與電子器件直接接觸,而是通過(guò)金屬管壁進(jìn)行熱交換,與直接接觸的浸沒(méi)式液冷相比冷卻與節(jié)能效果欠佳;
2)IT設(shè)備、冷卻液、管路、供配電等不統(tǒng)一,服務(wù)器多與機(jī)柜深耦合;
3)管路接頭、密封件較多,漏液維護(hù)復(fù)雜。
1.4.2 浸沒(méi)式液冷的散熱效果和節(jié)能性?xún)?yōu)勢(shì)明顯,但兼容性和維護(hù)性一般,多用于高功率密度機(jī)柜
浸沒(méi)式液冷的優(yōu)勢(shì)主要在于:
1)散熱效果與節(jié)能性:與冷板式液冷相比,浸沒(méi)式液冷中采用了直接接觸式的熱交換,傳熱系數(shù)高,冷卻效果更好,節(jié)能性更強(qiáng)(雙相浸沒(méi)式液冷方案的PUE在1.04-1.07左右,單相浸沒(méi)式為1.09左右)
2)緊湊:支持高密機(jī)柜,單柜散熱量高達(dá)160kW;同時(shí),機(jī)柜間無(wú)需隔開(kāi)距離,機(jī)房不需要空調(diào)和冷凍機(jī)組、無(wú)需架空地板、無(wú)需安裝冷熱通道封閉設(shè)施;
3)可靠性:設(shè)備完全浸沒(méi)在液體中,排除了溫度、風(fēng)機(jī)振動(dòng)、灰塵等帶來(lái)的可靠性問(wèn)題;
4)噪聲:100%液體冷卻,無(wú)需配置風(fēng)扇,實(shí)現(xiàn)**“靜音”機(jī)房。
浸沒(méi)式液冷的局限性主要在于:
1)兼容性較差:IT設(shè)備需要定制,光模塊、硬盤(pán)等部件兼容性仍待驗(yàn)證;此外,雙相浸沒(méi)式液冷方案適配的服務(wù)器需改為刀片式,其專(zhuān)用機(jī)柜對(duì)于管路要求高,控制復(fù)雜;
2)維護(hù)復(fù)雜:浸沒(méi)式液冷設(shè)備維護(hù)時(shí)需要打開(kāi)Tank上蓋,并配備可移動(dòng)機(jī)械吊臂或?qū)I(yè)維護(hù)車(chē)實(shí)現(xiàn)設(shè)備的豎直插拔,維護(hù)復(fù)雜度高,耗時(shí)長(zhǎng);且開(kāi)蓋維護(hù)過(guò)程有一定的冷卻液揮發(fā)問(wèn)題,增加運(yùn)行成本;
3)承重要求高:因浸沒(méi)式液冷系統(tǒng)Tank內(nèi)充滿(mǎn)冷卻液,整柜重量大幅增加,對(duì)機(jī)房有特殊承重要求,普遍要求浸沒(méi)式液冷機(jī)房地板承重應(yīng)大于1500kg/m2;
4)國(guó)產(chǎn)冷媒待驗(yàn)證:?jiǎn)蜗嘟](méi)式液冷方案所使用的國(guó)產(chǎn)冷媒仍待驗(yàn)證。
浸沒(méi)式液冷比較適用于對(duì)功率密度、節(jié)能性要求較高的大型數(shù)據(jù)中心,特別是地理位置較為特殊、空間有限的數(shù)據(jù)中心。
1.4.3 噴淋式液冷在安裝便利性、空間利用等方面有優(yōu)勢(shì),但是現(xiàn)階段落地應(yīng)用相對(duì)較少
噴淋式液冷不需要對(duì)數(shù)據(jù)中心基礎(chǔ)設(shè)施進(jìn)行大幅改動(dòng),安裝便捷,空間利用率高,且噴淋方式能夠節(jié)省冷卻液,其不足在于服務(wù)器整體密封于氣相柜中,排液、補(bǔ)液,維護(hù)時(shí)會(huì)破壞服務(wù)器原有密封結(jié)構(gòu)。目前噴淋式液冷技術(shù)的應(yīng)用場(chǎng)景有限,只有少量數(shù)據(jù)中心采用了噴淋式液冷技術(shù)。
2 數(shù)據(jù)中心液冷行業(yè)基本情況與競(jìng)爭(zhēng)格局
2.1 基本情況:數(shù)據(jù)中心液冷行業(yè)如日方升,液冷技術(shù)有望加速導(dǎo)入
數(shù)據(jù)中心溫控方式仍以風(fēng)冷為主,液冷技術(shù)有望加速導(dǎo)入。目前數(shù)據(jù)中心的散熱方式仍然以風(fēng)冷為主,在算力設(shè)備以及數(shù)據(jù)中心機(jī)房的高熱密度趨勢(shì)和高能效散熱要求的雙重推動(dòng)下,預(yù)計(jì)未來(lái)液冷將成為主流的數(shù)據(jù)中心溫控方式。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年數(shù)據(jù)中心液冷技術(shù)的滲透率大概在5%~8%左右,風(fēng)冷仍然占據(jù)90%以上的市場(chǎng)份額;預(yù)計(jì)2025-2028年時(shí)液冷技術(shù)的滲透率有望達(dá)到30%。
液冷方式以冷板式為主,浸沒(méi)式技術(shù)有望加速推廣。當(dāng)前主流的液冷技術(shù)包括冷板式液冷和浸沒(méi)式液冷,由于冷板式液冷對(duì)于數(shù)據(jù)中心的改造難度較低,改造所需成本也較為可控,所以目前冷板式液冷的市場(chǎng)應(yīng)用相對(duì)更加普及。根據(jù)IDC《中國(guó)半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國(guó)冷板式液冷服務(wù)器比例達(dá)到90%左右,浸沒(méi)式液冷滲透率僅為10%。但隨著國(guó)家對(duì)于數(shù)據(jù)中心PUE的政策要求的愈發(fā)嚴(yán)格,機(jī)柜功率密度的持續(xù)抬升以及浸沒(méi)式液冷技術(shù)的逐漸成熟,浸沒(méi)式液冷方案有望進(jìn)入加速推廣期。
2.2 產(chǎn)業(yè)鏈:涉及環(huán)節(jié)眾多,存在較高進(jìn)入壁壘
液冷產(chǎn)業(yè)鏈涉及環(huán)節(jié)眾多,包括上游的液冷設(shè)備及產(chǎn)品零部件提供商、中游的液冷服務(wù)器及液冷基礎(chǔ)設(shè)施提供商與下游的數(shù)據(jù)中心使用者。上游主要為產(chǎn)品零部件及液冷設(shè)備,包括快速接頭、CDU、電磁閥、浸沒(méi)液冷TANK、manifold、冷卻液等產(chǎn)品,代表性廠商有英維克、3M、高瀾股份、云酷、奕信通、廣東合一、綠色云圖、巨化股份等。中游主要為液冷服務(wù)器、芯片廠商以及液冷集成設(shè)施、模塊與機(jī)柜等,代表性廠商有華為、中興、浪潮、曙光、新華三、聯(lián)想、超聚變、英特爾等。下游主要為數(shù)據(jù)中心的使用者,包括三家電信運(yùn)營(yíng)商,百度、阿里巴巴、騰訊、京東等互聯(lián)網(wǎng)企業(yè),數(shù)據(jù)港、光環(huán)新網(wǎng)等第三方IDC服務(wù)商以及政府、科研機(jī)構(gòu)、金融、能源、交通等其他信息化需求客戶(hù)。
產(chǎn)業(yè)鏈存在較高的技術(shù)、人才、客戶(hù)認(rèn)證壁壘。
1)技術(shù)壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品的研發(fā)和制造涉及冷卻技術(shù)、制冷系統(tǒng)設(shè)計(jì)及仿真技術(shù)、溫濕度解耦控制算法等多項(xiàng)技術(shù)領(lǐng)域,要求企業(yè)在液冷核心技術(shù)進(jìn)行多年研究積累,深入掌握液冷技術(shù)的相關(guān)原理和應(yīng)用。此外,液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施產(chǎn)品工藝流程復(fù)雜,需要掌握生產(chǎn)制造流程中的核心工藝,同時(shí)需具備成熟的控制體系,對(duì)產(chǎn)品質(zhì)量進(jìn)行把控,保證產(chǎn)品的合格率,因此數(shù)據(jù)中心液冷行業(yè)具有較高的技術(shù)壁壘。
2)人才壁壘:液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施領(lǐng)域?qū)儆谛屡d技術(shù)密集型產(chǎn)業(yè),產(chǎn)品性能涉及材料化學(xué)、熱力學(xué)、電子學(xué)、計(jì)算機(jī)科學(xué)等多學(xué)科,并且數(shù)據(jù)中心的制冷系統(tǒng)存在定制化特征,因此對(duì)研發(fā)技術(shù)人員的技術(shù)研發(fā)能力和行業(yè)經(jīng)驗(yàn)要求較高。目前行業(yè)發(fā)展歷程較短,技術(shù)與產(chǎn)品仍處于驗(yàn)證階段,高端技術(shù)人才相對(duì)稀缺,且高端人才主要集中規(guī)模較大的企業(yè)以及***研究機(jī)構(gòu)中,因此新進(jìn)企業(yè)難以在短期內(nèi)培養(yǎng)出一批具備技術(shù)開(kāi)發(fā)實(shí)力并擁有豐富實(shí)踐項(xiàng)目經(jīng)驗(yàn)的專(zhuān)業(yè)技術(shù)隊(duì)伍,由此數(shù)據(jù)中心液冷行業(yè)存在較高的專(zhuān)業(yè)人才壁壘。
3)客戶(hù)認(rèn)證壁壘:出于安全性、穩(wěn)定性等考慮,企業(yè)客戶(hù)在選擇液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商時(shí)通常需要進(jìn)行嚴(yán)格的資質(zhì)驗(yàn)證。尤其是金融、醫(yī)藥等機(jī)構(gòu)出于數(shù)據(jù)安全、保密等要求,對(duì)液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施解決方案供應(yīng)商挑選非常嚴(yán)格,需要對(duì)企業(yè)產(chǎn)品質(zhì)量水平、項(xiàng)目經(jīng)驗(yàn)、技術(shù)研發(fā)能力進(jìn)行綜合考察,因此認(rèn)證過(guò)程復(fù)雜且耗時(shí)較長(zhǎng)。液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施廠商應(yīng)具備較強(qiáng)的產(chǎn)品研發(fā)能力、穩(wěn)定的產(chǎn)品供應(yīng)以及售后服務(wù)經(jīng)驗(yàn),同時(shí)具備豐富的技術(shù)儲(chǔ)備,才能滿(mǎn)足不同客戶(hù)的需求。另一方面,由于更換液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商會(huì)對(duì)產(chǎn)品的穩(wěn)定性形成風(fēng)險(xiǎn),客戶(hù)在與液冷數(shù)據(jù)中心基礎(chǔ)設(shè)施供應(yīng)商建立生產(chǎn)配套關(guān)系后,傾向于維持與現(xiàn)有技術(shù)供應(yīng)商的合作,不會(huì)輕易更換主要供應(yīng)商,因此先進(jìn)入者一旦建立起自身客戶(hù)資源、形成先發(fā)優(yōu)勢(shì),新進(jìn)入企業(yè)將很難在短期內(nèi)爭(zhēng)奪市場(chǎng)份額、改變行業(yè)現(xiàn)有格局,因此數(shù)據(jù)中心液冷行業(yè)具有較高的客戶(hù)認(rèn)證門(mén)檻。
2.3 競(jìng)爭(zhēng)格局:行業(yè)仍處于技術(shù)驗(yàn)證階段,市場(chǎng)格局尚不明確
目前液冷行業(yè)仍處于技術(shù)驗(yàn)證階段,技術(shù)路線、產(chǎn)品結(jié)構(gòu)、行業(yè)標(biāo)準(zhǔn)等還無(wú)定數(shù),國(guó)外廠商難以進(jìn)入中國(guó)市場(chǎng),市場(chǎng)競(jìng)爭(zhēng)格局尚不明確。目前市場(chǎng)中主要廠商在液冷技術(shù)和產(chǎn)品方面還處于實(shí)驗(yàn)研究或初步應(yīng)用階段,產(chǎn)品結(jié)構(gòu)與行業(yè)標(biāo)準(zhǔn)尚在演進(jìn),市場(chǎng)內(nèi)還未形成具備較強(qiáng)核心競(jìng)爭(zhēng)力的龍頭廠商,市場(chǎng)競(jìng)爭(zhēng)格局尚未穩(wěn)定。此外,由于中國(guó)對(duì)數(shù)據(jù)安全的保護(hù),在數(shù)據(jù)中心基礎(chǔ)設(shè)施的供應(yīng)方面存在一定的地域壁壘,因此,目前國(guó)外廠商的產(chǎn)品的應(yīng)用主要以其本國(guó)市場(chǎng)為主,進(jìn)入中國(guó)市場(chǎng)較為困難。
3 數(shù)據(jù)中心液冷行業(yè)未來(lái)看點(diǎn)
3.1 推理/訓(xùn)練服務(wù)器功耗有望達(dá)到10/2kW,液冷方案成為首選
生成式人工智能橫空出世,助推AI算力景氣度。受ChatGPT為代表的生成式人工智能大模型等新業(yè)態(tài)帶動(dòng),全新的AI應(yīng)用場(chǎng)景有望在未來(lái)3-5年爆發(fā),百億參數(shù)是大模型具備涌現(xiàn)能力的門(mén)檻,千億參數(shù)的大模型將具備較好的涌現(xiàn)能力,AI算力成為大模型能力提升的核心驅(qū)動(dòng)力。現(xiàn)階段ChatGPT的總算力消耗達(dá)到了3640PF-day(每秒計(jì)算一千萬(wàn)億次,需要計(jì)算3640天),需要7-8個(gè)投資規(guī)模30億元,算力500P的超大數(shù)據(jù)中心才能支撐其訓(xùn)練過(guò)程,AI算力的重要性不言而喻。據(jù)IDC預(yù)測(cè),全球AI算力市場(chǎng)規(guī)模將從2022年的195.0億美元增長(zhǎng)到2026年的346.6億美元,其中生成式AI算力市場(chǎng)規(guī)模將從2022年的8.2億美元增長(zhǎng)到2026年的109.9億美元,生成式AI算力占整體AI算力市場(chǎng)規(guī)模的比例將從4.2%增長(zhǎng)到31.7%。
大模型帶來(lái)高算力,高算力帶來(lái)高功耗。隨著AI計(jì)算、HPC計(jì)算等高性能計(jì)算需求不斷提升,CPU、GPU等計(jì)算芯片朝高算力、高集成方向演進(jìn),同時(shí)也導(dǎo)致單顆計(jì)算芯片功耗的大幅提升。對(duì)于CPU、GPU、ASIC等計(jì)算芯片而言,一方面可以通過(guò)增加計(jì)算核心數(shù)或提高單核心的主頻等方式來(lái)提高算力,此舉會(huì)顯著增加芯片的TDP(熱設(shè)計(jì)功耗);另一方面可以依靠先進(jìn)制程技術(shù)來(lái)縮減單位算力對(duì)應(yīng)的TDP(TDP/算力)。但是由于先進(jìn)制程技術(shù)推進(jìn)較慢等因素,單位算力對(duì)應(yīng)TDP的下降幅度逐年減少,且遠(yuǎn)不及算力的增長(zhǎng)速度,這也導(dǎo)致了AI芯片功耗的大幅攀升。當(dāng)前,Intel的多款CPU芯片的TDP已突破350W,NVIDIA 的H100系列GPU芯片的TDP更高達(dá)700W。
計(jì)算芯片高功耗造成單服務(wù)器功耗顯著提高。單服務(wù)器功耗大部分源于計(jì)算芯片,服務(wù)器的核心組件包括CPU(中央處理器)、GPU(圖形處理器)、內(nèi)存芯片、SSD(固態(tài)硬盤(pán))、網(wǎng)卡、PCB主板、RAID卡、HBA卡和電源等。CPU/GPU等計(jì)算芯片在通用服務(wù)器功耗中占比約為50%左右,而在AI服務(wù)器中,計(jì)算芯片的功耗占比高達(dá)80%以上。我們參考2022-2023年中國(guó)電信集采AI服務(wù)器配置與阿里云通用服務(wù)器配置進(jìn)行功耗計(jì)算,服務(wù)器的功耗可以粗略估計(jì)為所有組件的功耗總和;選取超聚變FusionServer 2288 V7作為通用服務(wù)器的代表型號(hào),超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號(hào),超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號(hào)。
通過(guò)我們的測(cè)算,通用服務(wù)器的總功耗為595W,AI訓(xùn)練服務(wù)器的總功耗為7015W,AI推理服務(wù)器的總功耗為1615W。但是由于芯片超頻,額外的NVLINK模組等因素的存在,計(jì)算芯片的實(shí)際滿(mǎn)載功耗往往會(huì)高于官方標(biāo)定的功耗。以上因素導(dǎo)致服務(wù)器的實(shí)際功耗可能會(huì)高于各組件的總功耗,具體的功耗還要以實(shí)際測(cè)試為準(zhǔn)。根據(jù)超聚變服務(wù)器功耗計(jì)算器的測(cè)算,當(dāng)前配置下的通用服務(wù)器的實(shí)際滿(mǎn)載功耗為700W左右,AI訓(xùn)練服務(wù)器的實(shí)際滿(mǎn)載功耗為9800W左右,AI推理服務(wù)器的實(shí)際滿(mǎn)載功耗為2000W左右。(該過(guò)程僅為根據(jù)公開(kāi)資料的估算,請(qǐng)以實(shí)際環(huán)境和負(fù)載下的測(cè)算為準(zhǔn))
隨著服務(wù)器功耗提高,單機(jī)柜功率上升趨勢(shì)明顯。根據(jù)Uptime Institute相關(guān)報(bào)告數(shù)據(jù)顯示,2020年全球數(shù)據(jù)中心單機(jī)柜功率密度達(dá)到8.4kW/機(jī)柜,相比于2017年的5.6 kW/機(jī)柜有明顯提升;其中71%的數(shù)據(jù)中心平均功率密度低于10 kW/機(jī)柜,17%的數(shù)據(jù)中心平均功率密度高于20kW/機(jī)柜,預(yù)計(jì)未來(lái)數(shù)據(jù)中心功率密度將繼續(xù)上升,高密度數(shù)據(jù)中心占比將持續(xù)提高。
單機(jī)柜功率逐漸超出風(fēng)冷散熱閾值,液冷散熱已是趨勢(shì)所向。風(fēng)冷散熱一般適用于20Kw/機(jī)柜左右的功率密度以下,20Kw/機(jī)柜以上時(shí)液冷散熱優(yōu)勢(shì)明顯。通用服務(wù)器通常為2U,AI訓(xùn)練服務(wù)器通常為6U,AI推理服務(wù)器通常為4U,標(biāo)準(zhǔn)機(jī)柜為42U;考慮到電源模塊、網(wǎng)絡(luò)模塊等因素,假設(shè)單機(jī)柜內(nèi)可以放置18個(gè)通用服務(wù)器或6個(gè)AI訓(xùn)練服務(wù)器或9個(gè)AI推理服務(wù)器,根據(jù)之前對(duì)于服務(wù)器功耗的測(cè)算,則單機(jī)柜功率可以分別達(dá)到12.6kW(通用),58.8kW(AI訓(xùn)練)和18kW(AI推理);考慮到機(jī)柜中其他模塊的散熱情況,實(shí)際單機(jī)柜功率會(huì)更高。對(duì)于通用服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)開(kāi)始逐步靠近風(fēng)冷散熱閾值,隨著通用服務(wù)器功耗的持續(xù)上升,液冷散熱的優(yōu)勢(shì)有望逐步顯現(xiàn);對(duì)于AI訓(xùn)練與推理服務(wù)器機(jī)柜,其單機(jī)柜功率已經(jīng)逼近或者超出了風(fēng)冷散熱所能覆蓋的功率密度范圍,液冷散熱已成大勢(shì)所趨。
3.2 PUE限制是現(xiàn)階段液冷技術(shù)發(fā)展的核心驅(qū)動(dòng)力
數(shù)據(jù)中心耗電量不斷提升,綠色低碳成為必然趨勢(shì)。數(shù)據(jù)中心是能耗大戶(hù),其包含大量的 IT 設(shè)備、供電與制冷設(shè)備。隨著數(shù)據(jù)中心算力與功耗的不斷增長(zhǎng),數(shù)據(jù)中心耗電量必將呈快速增長(zhǎng)趨勢(shì),綠色低碳必將并且已經(jīng)成為新型數(shù)據(jù)中心發(fā)展的重要基本原則之一。
我國(guó)數(shù)據(jù)中心平均PUE為1.49,仍有半數(shù)區(qū)域的數(shù)據(jù)中心PUE位于1.5以上。PUE 全稱(chēng) “Power Usage Effectiveness(能源使用效率)”,是數(shù)據(jù)中心消耗的一切能源與 IT 負(fù)載運(yùn)用的能源之比,比值越接近于1,說(shuō)明能源越接近全部都用于 IT 負(fù)載上。目前我國(guó)一半以上區(qū)域的數(shù)據(jù)中心 PUE 值都在 1.5 以上,即消耗在冷卻等非 IT 負(fù)載上的能源,占到了 IT 負(fù)載的一半以上。截至2021年全國(guó)數(shù)據(jù)中心平均PUE為1.49,還有華南、華東、西北和西南區(qū)域的數(shù)據(jù)中心PUE超過(guò)1.50,僅有東北、華北和華東區(qū)域的數(shù)據(jù)中心PUE在1.50以下。
數(shù)據(jù)中心PUE管控日趨嚴(yán)格,針對(duì)老舊與新建數(shù)據(jù)中心均出臺(tái)強(qiáng)力約束措施。國(guó)家與地方出臺(tái)了一系列政策對(duì)數(shù)據(jù)中心能耗管理進(jìn)行規(guī)范,不斷強(qiáng)調(diào)數(shù)據(jù)中心綠色高質(zhì)量發(fā)展的重要性。2021年7月,工信部印發(fā)《新型數(shù)據(jù)中心發(fā)展三年行動(dòng)計(jì)劃(2021-2023年)》,要求到2021年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.35以下;到2023年底,新建大型及以上數(shù)據(jù)中心PUE降低到1.3以下,嚴(yán)寒和寒冷地區(qū)降低到1.25以下。2022年8月,工信部等七部門(mén)印發(fā)《信息通信行業(yè)綠色低碳發(fā)展行動(dòng)計(jì)劃(2022-2025年)》,要求到2025年,全國(guó)新建大型、超大型數(shù)據(jù)中心電能利用效率(PUE)降到1.3以下,改建核心機(jī)房PUE降到1.5以下。除此之外,地方也出臺(tái)了一系列數(shù)據(jù)中心PUE要求相關(guān)的政策文件,其中北京針對(duì)數(shù)據(jù)中心的年能源消耗量設(shè)立了多層次PUE要求,年能源消耗量越高的數(shù)據(jù)中心PUE要求越高,此外還針對(duì)PUE超過(guò)1.4的數(shù)據(jù)中心實(shí)行電價(jià)加價(jià)措施。
冷卻系統(tǒng)占據(jù)數(shù)據(jù)中心除IT設(shè)備負(fù)載外的能耗中的絕大部分,液冷技術(shù)能夠有效降低冷卻系統(tǒng)能耗,進(jìn)而降低數(shù)據(jù)中心PUE,滿(mǎn)足監(jiān)管政策要求。PUE為1.92的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占總能耗的比例為38%左右,而PUE為1.3的數(shù)據(jù)中心下冷卻系統(tǒng)能耗占比下降至18%,這意味著降低數(shù)據(jù)中心PUE的關(guān)鍵就在于降低冷卻系統(tǒng)的能耗表現(xiàn)。在同等的散熱水平下,傳統(tǒng)風(fēng)冷方案的數(shù)據(jù)中心PUE一般為1.5左右,液冷方案的PUE值可降至1.05-1.2左右,能夠滿(mǎn)足當(dāng)前政策對(duì)于數(shù)據(jù)中心PUE的要求。
3.3 數(shù)據(jù)中心TCO是液冷技術(shù)規(guī)模應(yīng)用的關(guān)鍵因素
數(shù)據(jù)中心總成本(TCO)包括建設(shè)成本(Capex)和運(yùn)營(yíng)成本(Opex)。Capex一般指建設(shè)成本,包括土地獲取、勘察、規(guī)劃設(shè)計(jì)、設(shè)備購(gòu)置、建設(shè)、安裝以及系統(tǒng)調(diào)測(cè)等費(fèi)用;Opex一般指運(yùn)營(yíng)成本,主要包含電力、冷卻散熱等基礎(chǔ)設(shè)施成本、維護(hù)成本及管理成本。低成本是數(shù)據(jù)中心建立競(jìng)爭(zhēng)優(yōu)勢(shì)的關(guān)鍵,也是降低投資回收期和持續(xù)發(fā)展的關(guān)鍵。
我們基于華東地區(qū)、2N UPS、30kW每機(jī)柜等常見(jiàn)數(shù)據(jù)中心配置進(jìn)行風(fēng)冷、冷板式液冷和浸沒(méi)式液冷等不同冷卻方式下的TCO測(cè)算(本文關(guān)于TCO的討論均不考慮服務(wù)器等IT設(shè)備成本)。市場(chǎng)普遍認(rèn)為,風(fēng)冷方案在Capex上更具經(jīng)濟(jì)性,液冷方案只在后續(xù)的Opex中有一定的優(yōu)勢(shì)。但是根據(jù)奕信通科技在2022年數(shù)據(jù)中心標(biāo)準(zhǔn)峰會(huì)(CDCC)發(fā)布的報(bào)告進(jìn)行測(cè)算,現(xiàn)階段選擇冷板式液冷方案的Capex已經(jīng)低于風(fēng)冷方案,即便是浸沒(méi)式液冷方案,也將在運(yùn)行5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。(該過(guò)程僅為根據(jù)公開(kāi)資料的估算,請(qǐng)以實(shí)際環(huán)境和負(fù)載下的測(cè)算為準(zhǔn))
但是該測(cè)算結(jié)果依賴(lài)于一定的前提條件:如機(jī)柜功率達(dá)到30KW、不計(jì)算服務(wù)器折舊和服務(wù)器運(yùn)營(yíng)支出、水電費(fèi)與房租等運(yùn)營(yíng)成本按華東地區(qū)情況計(jì)價(jià)、采用集中式大型IDC機(jī)房且IT設(shè)備在12個(gè)月線性上架后實(shí)現(xiàn)80%負(fù)載率、外界氣溫對(duì)制冷系統(tǒng)的能耗需求較高等。因此在西北部地區(qū)、較小型數(shù)據(jù)中心等場(chǎng)景下液冷技術(shù)的經(jīng)濟(jì)性尚沒(méi)有完全體現(xiàn)。但在數(shù)據(jù)中心發(fā)展的大型化、集約化的趨勢(shì)下,且液冷方案仍存在每年降本5-10%的空間,再考慮到液冷方案能夠有效延長(zhǎng)服務(wù)器使用壽命,未來(lái)液冷數(shù)據(jù)中心TCO的優(yōu)勢(shì)將更加明顯。
機(jī)電部分包括制冷系統(tǒng)、配電系統(tǒng)、機(jī)柜系統(tǒng)、布線系統(tǒng)和監(jiān)控管理系統(tǒng)的購(gòu)置和安裝成本,不考慮IT設(shè)備成本。
液冷方案與風(fēng)冷方案相比:1)其機(jī)電部分的Capex可以節(jié)省掉冷凍水機(jī)組/冷凍水精密空調(diào),減少UPS和開(kāi)關(guān)設(shè)備的容量等;2)需要增加密封機(jī)箱、冷卻液、冷板、熱交換器、防滴漏連接器和機(jī)架式分液器等液冷設(shè)備方面的成本;3)液冷方案下同樣外電體量的數(shù)據(jù)中心內(nèi)空間利用率更高,能承載更多IT設(shè)備,每ITkW(IT設(shè)備功率)下的分?jǐn)偝杀靖?。根?jù)假設(shè)條件測(cè)算,風(fēng)冷、冷板式液冷、浸沒(méi)式液冷方案的機(jī)電部分Capex分別為16000-18000元/ITkW、15000-17000元/ITkW和23000-28000元/ITkW左右。冷板式液冷方案下分?jǐn)偟矫縄TkW下的機(jī)電部分Capex與風(fēng)冷方案基本持平甚至更低;浸沒(méi)式液冷方案所需增加的機(jī)電設(shè)備較多,分?jǐn)傁聛?lái)每ITkW的Capex相比于風(fēng)冷仍有7000-10000元/ITkW左右的上升。
土建部分主要包括建筑物成本。風(fēng)冷和液冷方案的土建成本差異主要在于同樣體量的數(shù)據(jù)中心內(nèi),液冷方案下建筑所需的建筑面積更小。根據(jù)奕信通科技測(cè)算,風(fēng)冷、冷板式液冷、浸沒(méi)式液冷的土建部分Capex分別為5000元/ITkW,3000元/ITkW和3500元/ITkW左右。
外電和能評(píng)部分主要包括獲取外電資源,通過(guò)能評(píng)驗(yàn)收所需付出的成本。與風(fēng)冷相比,液冷方案的PUE更低更節(jié)能,獲取外電資源,通過(guò)能評(píng)驗(yàn)收的難度相對(duì)會(huì)小很多。根據(jù)奕信通科技測(cè)算,風(fēng)冷、冷板式液冷、浸沒(méi)式液冷的外電和能評(píng)部分Capex分別為4000元/ITkW,2000元/ITkW和2000元/ITkW左右。
Opex中占比*高的是電力成本,液冷技術(shù)可以有效降低電力成本。數(shù)據(jù)中心的Opex主要包括電力成本、固定資產(chǎn)折舊、房租、人工費(fèi)等等,其中電力成本占比*高,達(dá)到56.7%(風(fēng)冷情況下)。
浸沒(méi)式液冷方案的Opex*具優(yōu)勢(shì)。根據(jù)奕信通科技測(cè)算,風(fēng)冷方案的Opex為9360-9720元/ITkw/年左右,冷板式液冷方案的Opex為8040-8400元/ITkw/年左右,浸沒(méi)式液冷方案的Opex是7800-8160元/ITkw/年左右。
現(xiàn)階段選擇冷板式液冷的初始TCO已經(jīng)低于風(fēng)冷,浸沒(méi)式液冷的TCO將在5-6年之后低于風(fēng)冷。我們根據(jù)以上測(cè)算結(jié)果進(jìn)行10年期的TCO測(cè)算,那么風(fēng)冷的Capex和Opex分別為26000元/ITkW和9540元/ITkW/年,冷板式液冷的Capex和Opex分別為21000元/ITkW和8220元/ITkW/年,浸沒(méi)式液冷的Capex和Opex分別為31000元/ITkW和7980元/ITkW/年。根據(jù)TCO測(cè)算,現(xiàn)階段冷板式液冷方案的TCO從開(kāi)始就已經(jīng)低于風(fēng)冷方案,浸沒(méi)式液冷方案也將在5年左右之后出現(xiàn)TCO低于風(fēng)冷方案的拐點(diǎn)。
3.4 液冷技術(shù)能夠有效延長(zhǎng)服務(wù)器使用壽命,實(shí)現(xiàn)降本增效
傳統(tǒng)電子設(shè)備普遍采用空氣冷卻方式,溫度是電子設(shè)備產(chǎn)生故障的主要原因之一。環(huán)境的多樣性包括溫度、濕度、振動(dòng)、灰塵等多個(gè)方面,在導(dǎo)致電子設(shè)備失效的因素中溫度占了55%,過(guò)熱是電子設(shè)備產(chǎn)生故障的主要誘因。隨著溫度的增加,電子、原子、分子的運(yùn)動(dòng)速度加快,使得電子設(shè)備的性能發(fā)生變化,當(dāng)達(dá)到一定階段時(shí),就會(huì)引起嚴(yán)重的故障。在高于一般室內(nèi)環(huán)境溫度(約20°C~25°C)范圍內(nèi)條件下,故障率大致按指數(shù)規(guī)律隨溫度的升高而增加。同時(shí),濕度、振動(dòng)、灰塵等因素同樣會(huì)對(duì)電子設(shè)備的工作性能和使用壽命產(chǎn)生負(fù)面影響。
液冷能夠有效降低服務(wù)器部件故障率,延長(zhǎng)使用壽命。液體具有比空氣更大的比熱容,散熱能力更強(qiáng),使得服務(wù)器溫度更加穩(wěn)定,CPU和GPU計(jì)算部件可以長(zhǎng)時(shí)間穩(wěn)定工作在高性能頻率狀態(tài)。此外,浸沒(méi)式液冷將IT設(shè)備浸入封閉的液體環(huán)境中,與空氣完全隔離,并且不再需要高速風(fēng)扇進(jìn)行散熱,消除了空氣濕度、風(fēng)扇振動(dòng)以及灰塵帶來(lái)的可靠性影響,從而優(yōu)化了服務(wù)器的運(yùn)行環(huán)境,延長(zhǎng)了設(shè)備的使用壽命。根據(jù)阿里云的實(shí)驗(yàn)數(shù)據(jù),與風(fēng)冷服務(wù)器相比,液冷服務(wù)器整體部件故障率下降約53%,其中電源、網(wǎng)卡、風(fēng)扇、網(wǎng)線等部件的故障率下降超過(guò)80%。隨著單服務(wù)器價(jià)值量以及數(shù)據(jù)中心運(yùn)營(yíng)成本的與日俱增,服務(wù)器的可靠性與使用壽命顯得尤為重要,液冷帶來(lái)的附加經(jīng)濟(jì)價(jià)值有望逐步顯現(xiàn)。
3.5 解耦交付模式成為未來(lái)發(fā)展趨勢(shì),助力液冷產(chǎn)業(yè)規(guī)范化發(fā)展
目前冷板式液冷方案的交付模式可以分為兩類(lèi),包括一體化交付與解耦交付兩種。一體化交付是指液冷機(jī)柜的所有部分,包括機(jī)柜和服務(wù)器等,都按照廠商自行設(shè)定的標(biāo)準(zhǔn)進(jìn)行集成設(shè)計(jì)開(kāi)發(fā),然后再作為一個(gè)整體進(jìn)行交付。而解耦交付則要求液冷機(jī)柜與液冷服務(wù)器之間遵循用戶(hù)預(yù)先制定的通用接口設(shè)計(jì)規(guī)范,機(jī)柜與服務(wù)器可以分別由不同廠商負(fù)責(zé)生產(chǎn)和交付。
解耦交付模式為大勢(shì)所趨,助推冷板式液冷產(chǎn)業(yè)規(guī)范化發(fā)展。服務(wù)器與機(jī)柜解耦更有利于形成統(tǒng)一的技術(shù)標(biāo)準(zhǔn)及規(guī)范,能夠促進(jìn)行業(yè)競(jìng)爭(zhēng)與技術(shù)推廣,讓更多廠商能夠參與液冷行業(yè),實(shí)現(xiàn)多廠家適配,也便于后續(xù)靈活部署,使得客戶(hù)可以根據(jù)實(shí)際需求選擇不同的服務(wù)器和機(jī)柜組合,不會(huì)受限于某一個(gè)供應(yīng)商。目前華為、超聚變等液冷廠商已經(jīng)實(shí)現(xiàn)了盲插快接,中國(guó)移動(dòng)也已經(jīng)著手研發(fā)新型機(jī)柜,并計(jì)劃在完成測(cè)試后開(kāi)源,推動(dòng)更多的服務(wù)器和機(jī)柜廠商參與到盲插解耦液冷技術(shù)的研發(fā)與驗(yàn)證中,推動(dòng)技術(shù)成熟與規(guī)范化。
4 數(shù)據(jù)中心液冷未來(lái)市場(chǎng)規(guī)模估算
根據(jù)估算,到2025年,中國(guó)數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到359億元左右,CAGR達(dá)到72.4%;AI數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到280億元左右,CAGR達(dá)到71.4%;通用數(shù)據(jù)中心液冷市場(chǎng)規(guī)模將達(dá)到79億元,CAGR達(dá)到76.2%。核心假設(shè)如下:
1)假設(shè)通用服務(wù)器的平均功率為0.7kW。以超聚變FusionServer 2288 V7(2U)作為通用服務(wù)器的代表型號(hào),在超聚變服務(wù)器功耗計(jì)算器中測(cè)算得出其滿(mǎn)載功率約為0.7kW。
2)假設(shè)AI服務(wù)器的平均功率為3.8kW,其中AI訓(xùn)練服務(wù)器平均功率為8kW,AI推理服務(wù)器為2kW。根據(jù)產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)AI服務(wù)器中訓(xùn)練與推理的數(shù)量關(guān)系約為3:7,訓(xùn)練服務(wù)器中H系列和A系列所占比例約為4:6,推理服務(wù)器均為T(mén)4系列。以超聚變FusionServer G5500 V6作為AI訓(xùn)練服務(wù)器的代表型號(hào),超聚變FusionServer G8600 V7作為AI推理服務(wù)器的代表型號(hào),根據(jù)超聚變服務(wù)器功耗計(jì)算器,H系列訓(xùn)練服務(wù)器滿(mǎn)載功率約為10kW,A系列訓(xùn)練服務(wù)器滿(mǎn)載功率約為6.8kW,T4系列推理服務(wù)器的功率約為2KW。結(jié)合以上數(shù)量比例關(guān)系,可以估算出AI服務(wù)器平均功率約為3.8kW。
3)假設(shè)通用服務(wù)器平均功率每年提升10%,AI訓(xùn)練與推理服務(wù)器平均功率未來(lái)三年提升30%/20%/15%。根據(jù)近幾年CPU/GPU TDP的變化趨勢(shì),CPU TDP每年提升10%左右,GPU TDP每年提升20%左右,我們假設(shè)通用服務(wù)器平均功率未來(lái)三年保持10%左右的增速,AI訓(xùn)練與推理服務(wù)器平均功率未來(lái)三年的增速為30%/20%/15%。
4)至2025年,假設(shè)通用服務(wù)器液冷滲透率由5%提升到20%,AI訓(xùn)練服務(wù)器液冷滲透率由70%提升到100%,AI推理服務(wù)器液冷滲透率由40%提升至70%。根據(jù)產(chǎn)業(yè)調(diào)研與曙光數(shù)創(chuàng)的信息,2022年我國(guó)液冷滲透率為5%-8%左右,預(yù)計(jì)2025-2028年時(shí)液冷滲透率能達(dá)到30%左右。我們假設(shè)通用服務(wù)器2022年液冷滲透率為5%,至2025年液冷滲透率上升至20%;AI訓(xùn)練服務(wù)器2022年液冷滲透率為70%,至2025年液冷滲透率上升至100%;AI推理服務(wù)器2022年液冷滲透率為40%,至2025年液冷滲透率上升至70%;整體液冷滲透率由2022年的8%上升至2025年的25.7%。
5)至2025年,假設(shè)浸沒(méi)式液冷滲透率由10%提升至30%,冷板式液冷滲透率由90%降低至70%。根據(jù)IDC《中國(guó)半年度液冷服務(wù)器市場(chǎng)(2023上半年)跟蹤》報(bào)告,按照服務(wù)器出貨量口徑統(tǒng)計(jì),2023H1我國(guó)冷板式液冷服務(wù)器比例為90%左右,浸沒(méi)式液冷滲透率僅為10%。隨著未來(lái)浸沒(méi)式液冷技術(shù)逐漸成熟進(jìn)入加速推廣期,我們預(yù)計(jì)浸沒(méi)式液冷的滲透率由2022年的10%上升至2025年的30%,冷板式液冷的滲透率由2022年的90%下降至70%。
6)考慮到大部分?jǐn)?shù)據(jù)中心液冷廠商的產(chǎn)品只覆蓋數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中的制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分,故估算數(shù)據(jù)中心液冷市場(chǎng)規(guī)模時(shí)只考慮數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施中制冷系統(tǒng)、機(jī)柜系統(tǒng)等核心部分的市場(chǎng)規(guī)模,不考慮布線系統(tǒng)、土建、外電、能評(píng)等其他配套部分。結(jié)合產(chǎn)業(yè)調(diào)研數(shù)據(jù),假設(shè)冷板式液冷基礎(chǔ)設(shè)施的價(jià)值量約為10000元/ITkW,浸沒(méi)式液冷基礎(chǔ)設(shè)施的價(jià)值量約為15000元/ITkW。
7)考慮到未來(lái)數(shù)據(jù)中心液冷市場(chǎng)競(jìng)爭(zhēng)逐步加劇以及技術(shù)逐漸成熟,液冷方案價(jià)格將呈逐年下降的趨勢(shì);冷板式液冷技術(shù)目前更為成熟,未來(lái)價(jià)格的下降空間相對(duì)較小。我們假設(shè)冷板式液冷價(jià)值量逐年下降5%,浸沒(méi)式液冷價(jià)值量逐年下降10%。
[聲明]文章系本網(wǎng)編輯轉(zhuǎn)載,轉(zhuǎn)載目的在于傳遞更多行業(yè)新聞信息,文章僅作交流學(xué)習(xí)使用,也并不代表本網(wǎng)贊同其觀點(diǎn)和對(duì)其真實(shí)性負(fù)責(zé)。如涉及作品內(nèi)容、版權(quán)和其它問(wèn)題,請(qǐng)?jiān)?0日內(nèi)與本網(wǎng)聯(lián)系,我們將在**時(shí)間刪除內(nèi)容!
本站文章版權(quán)歸原作者所有 內(nèi)容為作者個(gè)人觀點(diǎn) 本站只提供參考并不構(gòu)成任何投資及應(yīng)用建議。本站擁有對(duì)此聲明的*終解釋權(quán)。