日韩综合网-日韩综合网站-日韩综合一区-日韩综合在线视频-色涩网站-色涩网站在线观看

C114通信網  |  通信人家園

資訊
2025/4/23 12:26

韋樂平:國內智算中心GPU平均利用率不足30% 跨域訓練是必然趨勢

C114通信網  苡臻

C114訊 4月23日消息(苡臻)在今日召開的“2025云網智聯大會”上,SNAI推委會榮譽主席、原中國電信科技委主任韋樂平發表“大模型驅動下智算網的發展趨勢”主題演講。他表示,當前智算中心遍地開花,國內超280個,但GPU利用率很不均衡,飽的撐死,餓的餓死,平均不到30%;機內總線帶寬與機間網絡帶寬不匹配,機間網絡帶寬太窄,算效不高;機內總線架構的開放性、兼容性和擴展性不理想;缺乏可盈利的商業模式。

韋樂平表示,生成式人工智能的聯網技術主要包括以太網、IB(InfiniBand)、芯片光互連、PCIe、CXL(計算機快速鏈路)、OCS(光纖交換)等。

以太網是世界上規模最大的低成本聯網技術,但是,其傳統形態和協議已經不能滿足大集群聯網的苛刻性能需求。目前有三個改進方向:RoCE是一種基于以太網的RDMA。允許直接訪問遠程節點內存,減小了數據傳遞時延,降低了CPU的使用率,適合GenAI應用的需求;無損以太網在現有以太網基礎上進一步采用先進的流控、改進擁塞處理、優化哈希算法等新技術,性能大為改進,但是長尾時延仍偏高(5-10us),趕不上IB(1us),適合不高于2000GPU互連場景;超級以太網聯盟(UEC)從物理層、鏈路層、傳輸層和軟件層全面改進以太網,具有優異的負荷均衡、更好的網絡利用率和更短的時延,滿足GenAI和HPC所需,同時保留以太網生態系統的優勢,期望性價比全面趕超IB,預計2026年起量。

IB是一種用于高性能計算的計算機網絡,具備高寬帶、高擴展、高可靠、無阻塞、超低時延(1us)的特點。但其需要采用專用硬件IB交換機和IB網卡、成本較高、擴展性受限、產業生態較弱、過于封閉、由英偉達獨家控制,最適用高性能計算和高質量大模型訓練場景。

此外,芯片光互連技術還不成熟,標準缺失,預計最快2026年有產品,PCIe是一種計算機串行擴展總線技術,2025年計劃發布PCIe7.0版本,期望進一步提升至128GT/S能力;CXL是一種架構在PCIe串行總線上的新接口協議和高速互聯技術,長期看,CXL將導致現有服務器架構的解構,將處理、內存分別納入不同物理模塊,使能資源的查詢和共享,適應大集群的訓練需要和高性能計算的需要;OCS是一種以光纖通道為交換顆粒的大容量交換,近中期主要替代AIDC中的Spine層的電交換機,長期會進一步向外擴展。

韋樂平還提到了大模型訓練智算拉遠的思考。市場需求層面,以網補算,提升閑散智算中心算力資源利用率。面對大批分散部署、利用率很低的小規模智算中心,若能通過網絡互聯形成一個大型的邏輯智算池來適應規模日益增長的大模型訓練,有望大幅提升閑散智算資源的利用率。

邁向未來,跨域訓練是必然趨勢。據統計,大模型參數每1-2年增長10倍,而對應的GPU芯片的算力僅增長2-4倍,遠低于模型規模的增速。隨著模型規模的日益擴大,單體的算力、電力、空間資源終將受限,可能需要在園區甚至更大范圍內由多個智算中心互聯形成一個超級邏輯智算資源池,進行聯合訓練才有可能支撐超大模型的訓練,至于推理與具體業務場景和訪問量相關,更需要跨域實施。

談及大模型訓練智算拉遠的挑戰,他表示,在復雜的商用場景下,面臨大量不同功能、性能的異構GPU、規模不同的AIDC的互聯、不同業務場景、不同設備和不同組網方式、不同模型和不同參數的協同挑戰。

技術層面,存在帶寬收斂問題。無收斂帶寬普適性和前瞻性好,部署快,但成本太高;收斂比4-8時,帶寬成本可以降至10%之內,但是只適用特定業務場景下的特定模型拆分方式,缺乏普適性和前瞻性。同時,還存在功能和性能問題,拉遠后必然面對丟包、抖動乃至中斷故障等諸多挑戰,對R0CE網絡的功能和性能有不少嚴格的要求。

統一管理和運維層面,現有固化的組織架構和生產流程不適合快速部署邏輯統一的異地智算中心,需要對現有管理運維體系、生產流程、監控管理平臺改造升級。

給作者點贊
0 VS 0
寫得不太好

版權說明:C114刊載的內容,凡注明來源為“C114通信網”或“C114原創”皆屬C114版權所有,未經允許禁止轉載、摘編,違者必究。對于經過授權可以轉載我方內容的單位,也必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和本站來源。編譯類文章僅出于傳遞更多信息之目的,不代表證實其描述或贊同其觀點;翻譯質量問題請指正

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141

      主站蜘蛛池模板: 亚洲天堂男人网 | vr18成人资源| 午夜三级国产精品理论三级 | 99久久99热精品免费观看国产 | 久久久久久久91精品免费观看 | 毛片免费视频观看 | 欧美日韩国产一区二区三区播放 | 亚洲偷自拍另类图片二区 | 中文字幕亚洲精品日韩精品 | 九九精品99久久久香蕉 | 日韩一区二区三区在线视频 | 久久久全国免费视频 | 国产精品欧美一区二区三区 | 女人张开腿给男人桶爽免费 | 综合图片亚洲网友自拍10p | 九九视频在线观看视频6偷拍 | 美女扒开腿让男生桶爽网站 | 亚洲毛片一级巨乳 | 性生活免费视频网站 | 黄色美女网站免费 | 欧美在线黄色 | 欧美日韩亚洲另类 | 69日本xxxxxxxxx13 69视频成人 | 伊人五月天婷婷琪琪综合 | 激情五月色播五月 | 黄色三级网站在线观看 | 国产一国产一级毛片视频在线 | 1024手机基地在线看手机 | 欧美久久亚洲精品 | 亚洲国产成人久久综合区 | 青青影院一区二区免费视频 | 国产欧美一区二区另类精品 | 国产看色免费 | 在线男人的天堂 | 色内内免费视频播放 | 91啦国产| 久久精品在线免费观看 | 日本人成在线视频免费播放 | 成人区精品一区二区毛片不卡 | 国产精品青草久久 | 在线成人精品国产区免费 |