C114訊 1月16日消息（陳宦杰）AI時代已經來臨。大模型等新興AI應用需求海量的算力支撐，一座座智算中心拔地而起，規模龐大的萬卡集群逐漸投入商用。如何更好地實現智算中心互聯，服務AI應用創新發展，業界做了大量研究工作。

1月16日，作為“2025中國光通信高質量發展論壇”的開篇之作，“智算中心互聯：算網協同，構筑智算互聯新底座”線上研討會順利召開，邀約產業鏈專家代表，圍繞智算中心間跨地域、跨層級、跨主體、高可靠的算力協同與調度，以及智算中心互聯關鍵技術等話題展開了深入探討。

研討會期間，鵬城實驗室云腦研究所副所長張士勛應邀作了題為《智算中心高性能網絡系統多維度思考》的主題報告，深入分析了智算中心的計算模式與智算網絡的多維度特征。

并行方案解鎖大模型高效計算

歷經數十年的發展，AI模型的參數規模持續膨脹，模型的種類逐漸收斂。當下，智算中心已成為大模型訓練與推理的核心舞臺，通過將單一計算任務巧妙切分，并運用數千甚至數萬個AI芯片加速執行，智算中心有望實現堪比單臺計算機執行一個任務的高效協同作業。

在攻克AI芯片間的高效協同難題，進而推動智算中心向“DC as a Computer”演進的征程中，如何通過并行方案賦能大模型高效計算，是一個亟待破解的關鍵課題。

目前，業界已形成多種成熟的并行方案，如張量并行、數據并行、流水線并行。張量并行將矩陣精準切分，再把不同的矩陣塊分別置于不同的 GPU 上，通信頻繁且通信量較大，但為模型的高效訓練提供了有力支撐；數據并行巧妙地將訓練數據進行切分，使每個GPU能夠獨立訓練其中的一部分數據，降低了通信量；流水線并行依據模型架構的層次進行切分，將不同的層分別放置于不同的GPU上，只在層的交界處進行通信，使得通信量相對較小。不同類型的并行方案需要不同的通信策略和網絡架構支持，智算中心互聯架構的發展方向有待進一步探索與研究。

智算網絡的四大特征

談及智算網絡的多維特征時，張士勛例舉了四大關鍵點。

其一，智算網絡以GPU為中心。GPU成為算力的提供者，數據存儲于其上。因此，GPU卡間通信成為主要的通信模式，通過RDMA網絡，可以實現高效的數據交換。

其二，在智算網絡中，GPU的通信模式比較固定。卡間的通信模式具有很高的確定性，典型集合通信模式能夠覆蓋絕大部分場景。

其三，智算網絡采用雙平面的組網方案，兼具高帶寬與低時延特性。其中，Scale-out網絡適用于大規模組網，涵蓋數萬到數十萬GPU的龐大集群，協議基于InfiniBand/RoCE，速率可達400Gbps/800Gbps；Scale-up網絡則是局域高帶寬網絡，覆蓋數個至數百GPU的小集群，協議基于NVLink/HCCS等，速率高達數Tbps級。

其四，智算網絡需要軟硬件協同優化。在傳統的計算模式下，計算和通信依次執行，通信環節的占比可能超過50%，這導致GPU長時間處于空閑狀態。經過優化，通信和計算實現了相互疊加執行，GPU約有35%的時間用于等待通信。自2022年之后，通信和計算進一步深度重疊，業界主流的網絡可以將通信占比降至7%，設備性能得以充分釋放，硬件帶寬和軟件算法相輔相成。

此外，針對業界關心的高性能芯片供應受限的困境，張士勛表示，可以通過軟件、硬件、模型的聯合優化，提升訓練效果，推進高水平科技自立自強。利用有限的硬件資源實現高階的AI，是一個極具探索價值的方向。