|
英偉達(dá)特供版AI芯片H20更新!
事件：Nvidia英偉達(dá)對(duì)華“特供版”AI芯片H20的終端產(chǎn)品已可接受預(yù)訂。根據(jù)草根調(diào)研，單卡售價(jià)根據(jù)性能外推預(yù)期在1.3-1.4萬(wàn)美金，國(guó)內(nèi)有兩家大廠已向英偉達(dá)下訂單采購(gòu)數(shù)萬(wàn)片H20，樂(lè)觀Q2出貨。全年H20出貨量可能會(huì)在大幾十萬(wàn)片，之前的市場(chǎng)預(yù)期應(yīng)該是30萬(wàn)片左右。同時(shí)，英偉達(dá)另一中國(guó)特供版芯片L20 PCIE目前也在測(cè)試中，即將啟動(dòng)采購(gòu)。
事件：英偉達(dá)對(duì)華“特供版”AI芯片H20的終端產(chǎn)品已可接受預(yù)訂。根據(jù)草根調(diào)研，單卡售價(jià)根據(jù)性能外推預(yù)期在1.3-1.4萬(wàn)美金，國(guó)內(nèi)有兩家大廠已向英偉達(dá)下訂單采購(gòu)數(shù)萬(wàn)片H20，樂(lè)觀Q2出貨。全年H20出貨量可能會(huì)在大幾十萬(wàn)片，之前的市場(chǎng)預(yù)期應(yīng)該是30萬(wàn)片左右。同時(shí)，英偉達(dá)另一中國(guó)特供版芯片L20 PCIE目前也在測(cè)試中，即將啟動(dòng)采購(gòu)。
國(guó)產(chǎn)算力趨勢(shì)非常明確、持續(xù)關(guān)注國(guó)產(chǎn)算力鏈我們認(rèn)為，兩家大廠關(guān)于H20的大單并不會(huì)沖擊國(guó)產(chǎn)算力演繹邏輯。國(guó)產(chǎn)算力的趨勢(shì)是明確且不可逆的。一方面，我國(guó)對(duì)芯片國(guó)產(chǎn)化的支持力度強(qiáng)而持續(xù)。國(guó)產(chǎn)芯片持續(xù)自主迭代，在實(shí)踐中性能得到大幅提升。另一方面，近年來(lái)美國(guó)持續(xù)升級(jí)對(duì)華制裁，今年1月以來(lái)更是多方面收緊我國(guó)獲取先進(jìn)計(jì)算能力的途徑。
算力國(guó)產(chǎn)化是必由之路。國(guó)產(chǎn)芯片占比持續(xù)提升
測(cè)算了 23、24年我國(guó)AI芯片市場(chǎng)各家占比情況。國(guó)產(chǎn)芯片占比可能從去年25%左右提升至40%到45%。
此次H20訂單較超預(yù)期、建議關(guān)注中國(guó)NV鏈去年年底至今，國(guó)內(nèi)外對(duì)H20在華出售的預(yù)期較為悲觀，此次兩家大廠的訂單較超預(yù)期，建議關(guān)注浪潮信息、紫光股份等相關(guān)標(biāo)的建議持續(xù)關(guān)注國(guó)產(chǎn)算力
H20：是高緩存、高帶寬，但是算力性能差，這主要是M國(guó)禁令的要求和限制。H20卡算力性能差，大約是HW昇騰910算力的一半，緩存與帶寬是比910B高，帶寬是910B兩倍。NV有NVlink架構(gòu)。英偉達(dá)的卡是通過(guò)多卡使用、多卡堆疊模式，與國(guó)內(nèi)HW的高算力的卡抗衡。國(guó)內(nèi)910B的性能與A100單卡很接近，1）國(guó)內(nèi)的卡弊端是互聯(lián)帶寬弱，卡間、AI服務(wù)器間弱；2）軟件生態(tài)不夠成熟。英偉達(dá)的卡是在這個(gè)軟肋的基礎(chǔ)上推出的，在互聯(lián)帶寬與CUDA生態(tài)上做的。
Q&A
Q：H20是H800做訓(xùn)練的6-7成。原來(lái)H的時(shí)候，算力使用效率是3-4成，新的H20加大帶寬，組成集群的大模型訓(xùn)練效率可能比H800更好嗎？
A：國(guó)內(nèi)軟件訓(xùn)練框架比較弱，國(guó)內(nèi)是GPT1.0\2.0架構(gòu)為主，H800算力性能很高，但還是在幾百萬(wàn)的訓(xùn)練參數(shù)方面沒(méi)有辦法使用起來(lái)，H800使用效率很低。但是H20方面，更容易取得訓(xùn)練參數(shù)不是很高的方面，很適合多卡堆疊與多個(gè)AI服務(wù)器的使用。
Q：改良版芯片是更容易大模型訓(xùn)練的嗎？
A：國(guó)內(nèi)大模型訓(xùn)練方面，不能單獨(dú)看硬件。一是卡，二是框架。GPT4.0是基本囊括國(guó)內(nèi)所有知識(shí)，但國(guó)內(nèi)3.0、4.0都沒(méi)辦法用，正規(guī)渠道都是1.0/2.0，訓(xùn)練參數(shù)、性能都局限了。即使H100有卡也訓(xùn)練不出來(lái)，因?yàn)榈讓榆浖芯窒�。英偉達(dá)推出H20的卡，是可以通過(guò)國(guó)內(nèi)客戶多買卡實(shí)現(xiàn)與A100、H800同樣效率。NV可以多買卡，又滿足美國(guó)禁令，也不會(huì)讓基于GPT2.0訓(xùn)練模型框架訓(xùn)練處更高的模型，這個(gè)模式也是一舉多得的。NV不會(huì)完全切斷NV與國(guó)內(nèi)的來(lái)往，硬件可以給，但是軟件層面切斷，國(guó)內(nèi)沒(méi)辦法用千億級(jí)訓(xùn)練模型的框架。 NV的IB交換機(jī)，光模塊的400G\800G不是必須的。因?yàn)镠100 AI服務(wù)器，可以用400G光模塊，也可以800G（8張卡是4個(gè)800G光模塊）。因?yàn)锳I服務(wù)器數(shù)量多了，光模塊數(shù)量也會(huì)多的。組網(wǎng)方面，是NV用ib交換機(jī)，正常組網(wǎng)還是以太網(wǎng)交換機(jī)。
Q：H20產(chǎn)品的HBM3是一個(gè)板用了3個(gè)，就是算力是A100的30%，HBM用量一樣？
A：?jiǎn)慰ǖ腍BM量與H800相近，H20的cowos的制程與800相比更簡(jiǎn)單�？ǖ乃懔Ω叩�，在于晶元制程，nm越低，集成度越高，算力越強(qiáng)。H20的算力來(lái)看，設(shè)計(jì)工藝是一般，還不如910B的算力設(shè)計(jì)工藝好。代工廠而言，可以用一些比較差的制造工藝來(lái)復(fù)用，成本下降了。唯一是HBM的好了，價(jià)值量3倍。
Q：H20的NVLINK是900GB/S，H800只是400，可以達(dá)到嗎？
A：NVLINK對(duì)NV不是高端的，很成熟了，H系列都可以支撐。網(wǎng)絡(luò)帶寬支撐這么大，可以買更多的卡達(dá)到，nvlink的傳輸速度可以領(lǐng)先的。昇騰達(dá)不到的，現(xiàn)在是400G，8卡一連就是200了。
Q：訓(xùn)練框架是指？
A：訓(xùn)練模型都是用語(yǔ)言框架支撐，軟件框架。軟件更新?lián)Q代，或者技術(shù)迭代，國(guó)內(nèi)訓(xùn)練語(yǔ)言框架方面，軟件版本比較低，為1.0、2.0，海外升級(jí)到GPT 4.0版本。API端口不給國(guó)內(nèi)賬戶申請(qǐng)?jiān)囉茫泽w會(huì)不到4.0里面軟件功能。美國(guó)封鎖A100\H100是不愿意分享制造工藝。
Q：為什么H20卡不需要covos封裝？
A：看到有HBM，但是cowos是4或3nm以上，是高端封裝，所以A100\A800\H20，制造工藝不像H100那么高，所以封裝架構(gòu)不需要cowos，成本下降。明年H100北美需求旺盛，所以不會(huì)為了中國(guó)的量，占用封裝產(chǎn)能。
Q：對(duì)算力租賃影響？
A：從前大部分是A\H800，但是現(xiàn)在對(duì)于禁令以后，算力租賃停滯了�，F(xiàn)在NV推出H20以后，可以組建算力中心、算力租賃中心�？梢酝ㄟ^(guò)NVLINK、IB網(wǎng)絡(luò)架構(gòu)，使用多張H20，多個(gè)基于H20的AI服務(wù)器，搭建數(shù)據(jù)中心。大部分算力公司是基于cuda架構(gòu)的，H20的出現(xiàn)會(huì)幫助算力租賃中心緩解數(shù)據(jù)中心搭建的缺卡情況。
Q：是不是可以理解為緩解算力的短缺，限制算力的漲價(jià)，對(duì)算力租賃公司偏利空？
A：算力公司來(lái)講，是利空的狀態(tài)。算力租賃行業(yè)對(duì)卡的依賴性很強(qiáng)，沒(méi)有生存的價(jià)值。
Q：H20可以保留NVLINK，此前帶寬要求不影響了嗎？
A：限制A\H100時(shí)候，有限制網(wǎng)絡(luò)互聯(lián)帶寬。但是現(xiàn)在11月份對(duì)H800禁令來(lái)看，取消帶寬限制。這是美國(guó)政府的問(wèn)題，如何既不給高端卡，但是不切斷業(yè)務(wù)來(lái)往，買更多的卡，達(dá)到A\H100的性能。NV會(huì)對(duì)NVLINK卡間互聯(lián)做文章，堆疊卡提升性能，是一個(gè)好的商業(yè)模式。
Q：H20組成集群的性能與HW的比較？
A：服務(wù)器卡間瓶頸，服務(wù)器間瓶頸�？ㄩg互聯(lián)910B的互聯(lián)帶寬是H20的一半，卡間互聯(lián)性能下降一半。服務(wù)器間互聯(lián)，英偉達(dá)有一分半IB交換機(jī)，沒(méi)有替代解決方案。國(guó)內(nèi)是400、800G集群交換機(jī)，算力損耗比較大。
Q：昇騰卡的性能對(duì)標(biāo)A100，軟件方面差距在哪里？
A：1）軟件方面，商用的軟件方面，基本的高端軟件都是海外的軟件公司。國(guó)內(nèi)公司做兼容性適配是很困難的，NV的出卡之前會(huì)做相應(yīng)性能兼容性測(cè)試與調(diào)優(yōu)，所以NV在銷售平臺(tái)上使用方面是最好的。
2）國(guó)內(nèi)卡的客戶在互聯(lián)網(wǎng)公司，他們不會(huì)用商業(yè)軟件，是開源軟件做開發(fā)，因?yàn)槊總�(gè)互聯(lián)網(wǎng)公司商用方式不同，會(huì)做一些開發(fā)。他們用互聯(lián)網(wǎng)的自研平臺(tái)，遷移適配到國(guó)內(nèi)的卡方面，適配成本遷移成本比較低。大家對(duì)互聯(lián)網(wǎng)行業(yè)很關(guān)注，國(guó)內(nèi)芯片行業(yè)對(duì)其也很關(guān)注，因?yàn)榍腥隢V中，互聯(lián)網(wǎng)是最容易切入的，沒(méi)有商業(yè)軟件的影響，都是自研。軟件開發(fā)周期比硬件長(zhǎng)得多。
Q：17號(hào)禁令下單之后，會(huì)有H20訂單的轉(zhuǎn)換嗎？還是再次重新下單呢？
A：禁令以后得訂單取消掉了，NV的取消。所以H20的訂單是重新來(lái)的，不能同等替代。
Q：閹割版上市有用嗎？客戶端需要4多久業(yè)務(wù)適配？
A：英偉達(dá)的卡在于互聯(lián)網(wǎng)公司，適配到小批量-大批量，需要半年時(shí)間，從引入測(cè)試到小批量是半年�？ǖ碾A段是英偉達(dá)的設(shè)計(jì)完成，自身做檢測(cè)，但沒(méi)有下方代工廠商，交付給互聯(lián)網(wǎng)引入測(cè)試，下方給服務(wù)器代工廠小批量生產(chǎn)調(diào)試，再做小批量供應(yīng)，與互聯(lián)網(wǎng)同步，半年采購(gòu)。
Q：大家從訓(xùn)練模型的角度，到底是看INT8還是看FP16甚至是FP32，感覺(jué)說(shuō)法很多，我們?cè)u(píng)判國(guó)內(nèi)外的卡主要是看哪個(gè)指標(biāo)的算力呢？
Q：主要是FP32與FP64，F(xiàn)P16是國(guó)內(nèi)由于設(shè)計(jì)工藝原因，沒(méi)辦法達(dá)到，真正看浮點(diǎn)運(yùn)算，還是FP32與FP64。英偉達(dá)基本不會(huì)做FP16浮點(diǎn)運(yùn)算參數(shù)。國(guó)內(nèi)模型框架，F(xiàn)P16還是可以用的，但還是一旦訓(xùn)練參數(shù)激增，就是FP32與FP64。
Q：相對(duì)H100等先進(jìn)芯片，NV變通方案會(huì)對(duì)成本上升多少呢？
A：運(yùn)營(yíng)成本上升會(huì)與卡的采購(gòu)量上升成正比的。以一個(gè)通俗例子來(lái)看，H100的卡的運(yùn)營(yíng)成本，與H800的成本不同，空間、功耗、人員費(fèi)用方面，卡的費(fèi)用都是很高的。H20比H100功耗有一些下降，但是比A100提升不少，通過(guò)H20來(lái)看，未來(lái)大批量使用的成本提升A100的3-4倍，比H100低一些。
Q：H20使用液冷方案嗎？
A：H20是風(fēng)冷，液冷還是H100,750w功耗。H20加了2-3張卡，功耗是A100的3-4倍。
Q：H20組網(wǎng)會(huì)比原先的H800組網(wǎng)增加功耗及散熱需求嗎？
A：H20的散熱會(huì)低于H800，因?yàn)樗懔�、功耗低，散熱�?huì)低的。
Q：現(xiàn)在英偉達(dá)有了合規(guī)產(chǎn)品，但是由于單卡算力降下，是不是意味著同樣算力集群需要更多的服務(wù)器？
A：會(huì)的，H20留下很多帶寬的原因，讓國(guó)內(nèi)的用戶實(shí)現(xiàn)一些堆疊。
Q：假設(shè)有足夠買卡資源和不考慮能耗，基于H20算力集群算力能否達(dá)到基于H100算力集群算力？
A：可以的。
免責(zé)聲明：文章來(lái)源網(wǎng)絡(luò)及其他媒體平臺(tái)，轉(zhuǎn)載目的在于傳遞更多信息，僅代表作者個(gè)人觀點(diǎn)，不確保文章的準(zhǔn)確性，如有侵犯版權(quán)請(qǐng)告知，我們將在24小時(shí)內(nèi)刪除！
H20 平臺(tái)NVQD02接頭
- 不銹鋼
- EPDM密封
- 單手連接或斷開
- Cv值高，高流量低壓降
- 連接力小，輕松連接
- 色帶清晰，陰接頭有色套筒，陽(yáng)接頭有色密封
- 100% 氦氣檢測(cè)
- 規(guī)格: NVQD02和NVBQD02
H20 平臺(tái)NVBQD02盲插接頭
- 不銹鋼
- EPDM密封
- 單手連接或斷開
- Cv值高，高流量低壓降
- 連接力小，輕松連接
- 色帶清晰，陰接頭有色套筒，陽(yáng)接頭有色密封
- 100% 氦氣檢測(cè)
- 規(guī)格: NVQD02和NVBQD02
關(guān)于我們
北京漢深流體技術(shù)有限公司是丹佛斯中國(guó)數(shù)據(jù)中心簽約代理商。產(chǎn)品包括FD83全流量自鎖球閥接頭，UQD系列液冷快速接頭、EHW194 EPDM液冷軟管、電磁閥、壓力和溫度傳感器及Manifold的生產(chǎn)和集成服務(wù)。在國(guó)家數(shù)字經(jīng)濟(jì)、東數(shù)西算、雙碳、新基建戰(zhàn)略的交匯點(diǎn)，公司聚焦組建高素質(zhì)、經(jīng)驗(yàn)豐富的液冷工程師團(tuán)隊(duì)，為客戶提供卓越的工程設(shè)計(jì)和強(qiáng)大的客戶服務(wù)。
公司產(chǎn)品涵蓋：丹佛斯液冷流體連接器、EPDM軟管、電磁閥、壓力和溫度傳感器及Manifold。
未來(lái)公司發(fā)展規(guī)劃：數(shù)據(jù)中心液冷基礎(chǔ)設(shè)施解決方案廠家，具備冷量分配單元（CDU）、二次側(cè)管路（SFN）和Manifold的專業(yè)研發(fā)設(shè)計(jì)制造能力。
- 針對(duì)機(jī)架式服務(wù)器中Manifold/節(jié)點(diǎn)、CDU/主回路等應(yīng)用場(chǎng)景，提供不同口徑及鎖緊方式的手動(dòng)和全自動(dòng)快速連接器。
- 針對(duì)高可用和高密度要求的刀片式機(jī)架，可提供帶浮動(dòng)、自動(dòng)校正不對(duì)中誤差的盲插連接器。以實(shí)現(xiàn)狹小空間的精準(zhǔn)對(duì)接。
- 基于OCP標(biāo)準(zhǔn)全新打造的UQD/UQDB通用快速連接器也將首次亮相, 支持全球范圍內(nèi)的大批量交付。
|
