大模型熱潮進一步推動計算底座迭代升級。大模型計算特性對硬件要求極高，帶來分布式訓(xùn)練支持、混合精度計算支持、高速互聯(lián)通信等新要求新挑戰(zhàn)，驅(qū)動計算底座迭代升級，呈現(xiàn)三大趨勢特點：

　　一是芯片架構(gòu)向定制化演進，迎合 Transformer 計算特性。如英偉達自 Hooper 架構(gòu)引入 Transformer 引擎提升算法計算性能，并利用啟發(fā)式算法實現(xiàn)數(shù)據(jù) 精度動態(tài)切換 （Blackwell 架構(gòu)二 代Transformer 引擎已支持 FP8、FP6、FP4 等多種低精數(shù)據(jù)），在保證性能的前提下降低計算總量；芯片創(chuàng)業(yè)公司Etched 推出僅支持Transformer 架構(gòu)的 Sohu 芯片，犧牲編程能力提升計算速度，推理吞吐量達到 H100 的 20 倍。

　　二是存儲與互聯(lián)重要性日益提升。隨著大模型參數(shù)持續(xù)增長、輸入輸出數(shù)據(jù)長度快速提升，模型參數(shù)和計算緩存 kv 值消耗的內(nèi)存空間呈指數(shù)級增長，存儲和互聯(lián)成為主要瓶頸，在芯片單位面積算力接近天花板且性能相對過剩的背景下，頭部硬件廠商創(chuàng)新升級重點從卷算力向卷內(nèi)存、卷互聯(lián)轉(zhuǎn)變，如AMDMI300X 宣傳時已淡化算力色彩，重點突出顯存和互聯(lián)指標(biāo)，英偉達B200 顯存容量和顯存帶寬提升幅度（240%×H100），均超過算力提升幅度（220%×H100 @FP16）。

　　三是強調(diào)軟硬協(xié)同升級釋放硬件計算潛力米樂。如 AMD ROCm 6.2 更新擴展了專為語言大模型所設(shè)計的 vLLM 庫支持，提升了 Instinct 系列加速器的AI 推理能力；英偉達參與 FlashAttention 3 注意力算法設(shè)計，充分利用H100 芯片動態(tài)warp 寄存器分配、FP8 精度支持等特性，相比FlashAttention 2速度提升 1.5-2 倍。

　　多方試圖破局，出現(xiàn)三類挑戰(zhàn)者。盡管目前英偉達壟斷人工智能計算生態(tài)，但面對高昂的采購成本和龐大的市場空間，各方持續(xù)尋找替代英偉達的解決方案，出現(xiàn)三類挑戰(zhàn)者。

　　一是以AMD、英特爾為代表的半導(dǎo)體巨頭，憑借深厚技術(shù)積累、龐大資金支持和市場渠道優(yōu)勢，推出面向大模型和人工智能的高性能計算產(chǎn)品，如AMDInstinct MI325X 芯片、英特爾 Gaudi2 芯片等，在內(nèi)存容量、存儲帶寬、性價比等方面形成差異化競爭優(yōu)勢。

　　二是以Cerebras、Groq、d-Matrix、Graphcore 等為代表的芯片初創(chuàng)企業(yè)，嘗試通過超大尺寸芯片、存內(nèi)計算、近存計算等非常規(guī)技術(shù)路線取得突破，已獲得OpenAI、微軟、三星等行業(yè)巨頭投資。

　　三是以微軟、Meta 等為代表的互聯(lián)網(wǎng)巨頭加快自研芯片進程，試圖擺脫對英偉達依賴，提升議價能力，如谷歌 TPU 已更新至第五代（TPU v5p），支持多模態(tài)大模型 Gemini 訓(xùn)練；微軟推出 MAIA 100，采用5nm工藝，服務(wù)微軟云大模型訓(xùn)推；Meta 發(fā)布首款自研推理芯片MTIA v1，基于7nm工藝 ASIC 芯片，與自身 PyTorch 框架高度適配。米樂

　　此外，量子、類腦、光計算等前沿顛覆式路線也加緊與大模型應(yīng)用結(jié)合，規(guī)模商用雖有差距，但為復(fù)雜高效計算系統(tǒng)實現(xiàn)開辟新路徑，如清華大學(xué)光計算芯片“太極”實現(xiàn) 160TOPS/W 的超高能效，能夠以更低的資源消耗和更小的邊際成本支撐大模型訓(xùn)練推理。

　　更多行業(yè)研究分析請參考思瀚產(chǎn)業(yè)研究院官網(wǎng)，同時思瀚產(chǎn)業(yè)研究院亦提供行研報告、可研報告（立項審批備案、銀行貸款、投資決策、集團上會）、產(chǎn)業(yè)規(guī)劃、園區(qū)規(guī)劃、商業(yè)計劃書（股權(quán)融資、招商合資、內(nèi)部決策）、專項調(diào)研、建筑設(shè)計、境外投資報告等相關(guān)咨詢服務(wù)方案