近日，字節(jié)跳動正式發(fā)布基于以太網(wǎng)極致優(yōu)化的 GPU Scale-up 互聯(lián)技術白皮書，推出 EthLink 的創(chuàng)新網(wǎng)絡方案，旨在為 AI 集群提供低延遲、高帶寬的高速互聯(lián)傳輸，滿足 AI 應用對 GPU 之間高效通信的需求。
隨著 LLM 的參數(shù)規(guī)模和算力需求呈指數(shù)級增長，構建超大規(guī)模的 GPU 集群已成為行業(yè)共識。在 GPU 萬卡集群中，存在著 Scale-up 和 Scale-out 兩種互聯(lián)域，分別負責節(jié)點內和節(jié)點間的高效數(shù)據(jù)傳輸。其中，Scale-up 互聯(lián)域尤為關鍵，它要求在單臺服務器和 AI Rack 內實現(xiàn) 8 卡及以上 GPU 的高帶寬、低時延互聯(lián)，為模型的張量并行（TP）和專家并行（EP）提供支持。
在此背景下，字節(jié)跳動提出的 EthLink 方案基于原生以太網(wǎng)進行了極致優(yōu)化，具備獨特的技術優(yōu)勢。該方案允許 GPU 通過 Load/Store 內存語義執(zhí)行同步操作，實現(xiàn)小塊數(shù)據(jù)的高效傳輸，適用于對數(shù)據(jù)傳輸時延敏感的應用場景；GPU 還能通過 RDMA 消息語義執(zhí)行異步操作，完成大塊數(shù)據(jù)的快速傳輸，滿足帶寬需求大、對時延不敏感的數(shù)據(jù)應用。
與傳統(tǒng)的 Scale-up 互聯(lián)技術相比，以太網(wǎng)在構建 AI 網(wǎng)絡架構方面具有顯著優(yōu)勢，包括超高速鏈路、超大容量交換機、成熟的生態(tài)系統(tǒng)以及易于操作的運維體系。盡管多個行業(yè)組織已在 AI 網(wǎng)絡技術開發(fā)方面展開探索，但基于以太網(wǎng)極致優(yōu)化的 AI Scale-up 互聯(lián)體系在業(yè)界一直處于空白狀態(tài)。字節(jié)跳動的 EthLink 方案填補了這一空白，為 GPU 超節(jié)點提供了全新的高速互聯(lián)通道。
展望未來，字節(jié)跳動計劃聯(lián)合產業(yè)合作伙伴，共同構建基于以太網(wǎng)的 Scale-up 網(wǎng)絡生態(tài)，進一步完善 EthLink 技術體系。
字節(jié)跳動發(fā)布的 EthLink 方案及白皮書，將為 AI 行業(yè)的發(fā)展注入新的活力。隨著相關技術的不斷完善和生態(tài)系統(tǒng)的逐步建立，AI 應用的性能和效率將得到進一步提升，為通用人工智能的實現(xiàn)奠定更加堅實的基礎。 
