日韩综合网-日韩综合网站-日韩综合一区-日韩综合在线视频-色涩网站-色涩网站在线观看

C114通信網  |  通信人家園

人工智能
2025/3/19 08:36

英偉達宣布創造滿血 DeepSeek-R1 模型 AI 推理性能的世界紀錄

IT之家  問舟

英偉達在今日舉行的 NVIDIA GTC 2025 上宣布其 NVIDIA Blackwell DGX 系統創下 DeepSeek-R1 大模型推理性能的世界紀錄。

據介紹,在搭載了八塊 Blackwell GPU 的單個 DGX 系統上運行 6710 億參數的滿血 DeepSeek-R1 模型可實現每用戶每秒超 250 token 的響應速度,系統最高吞吐量突破每秒 3 萬 token。

英偉達表示,隨著 NVIDIA 平臺繼續在最新的 Blackwell Ultra GPU 和 Blackwell GPU 上突破推理極限,其性能將會繼續不斷提高。

  ▲ 運行 TensorRT-LLM 軟件的 NVL8 配置的 NVIDIA B200 GPU

單節點配置:DGX B200(8 塊 GPU)與 DGX H200(8 塊 GPU)

測試參數:最新測試采用 TensorRT-LLM 內部版本,輸入 1024 token / 輸出 2048 token;此前測試為輸入 / 輸出各 1024 token;并發

計算精度:B200 采用 FP4,H200 采用 FP8 精度

英偉達表示,通過硬件和軟件的結合,他們自 2025 年 1 月以來成功將 DeepSeek-R1 671B 模型的吞吐量提高了約 36 倍。

節點配置:DGX B200(8 塊 GPU)、DGX H200(8 塊 GPU)、兩個 DGX H100(8 塊 GPU)系統

測試參數:依然采用 TensorRT-LLM 內部版本,輸入 1024 token / 輸出 2048 token;此前測試為輸入 / 輸出各 1024 token;并發性 MAX

計算精度:B200 采用 FP4,H100 / H200 采用 FP8 精度

與 Hopper 架構相比,Blackwell 架構與 TensorRT 軟件相結合可實現顯著的推理性能提升。

英偉達表示,包括 DeepSeek-R1、Llama 3.1 405B 和 Llama 3.3 70B,運行 TensorRT 軟件并使用 FP4 精度的 DGX B200 平臺與 DGX H200 平臺相比已經提供了 3 倍以上的推理吞吐量提升。

 

精度 MMLU GSM8K AIME 2024 GPQA Diamond MATH-500
DeepSeek R1-FP8 90.8% 96.3% 80.0% 69.7% 95.4%
DeepSeek R1-FP4 90.7% 96.1% 80.0% 69.2% 94.2%

 

英偉達表示,在對模型進行量化以利用低精度計算優勢時,確保精度損失最小化是生產部署的關鍵。IT之家注意到,在 DeepSeek-R1 模型上,相較于 FP8 基準精度,TensorRT Model Optimizer 的 FP4 訓練后量化(PTQ)技術在不同數據集上僅產生微乎其微的精度損失。

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141

      主站蜘蛛池模板: 精品久久久日韩精品成人 | 男人天堂视频网 | 黄色三级网站 | 欧美视频一区二区专区 | 国产精品亚洲欧美日韩久久 | a级毛片毛片免费观看久潮喷 | 性欧美一级毛片 | 日韩成人午夜 | 色综合精品久久久久久久 | 久章草在线观看 | 欧美老头老太做爰xxxx | www.亚洲综合 | 看全色黄大色黄大片女图片 | 久久中文字幕综合不卡一二区 | 成人做爰在线视频 | 91精品国产手机在线版 | 自拍偷拍视频在线观看 | 男人的天堂在线免费视频 | 亚洲综色 | 91影视做在线观看免费 | 伊人2233| 午夜美女久久久久爽久久 | 中国一级毛片视频 | 99久久久国产精品免费播放器 | 国产不卡在线视频 | 美女黄网站色一级毛片 | 亚洲一级毛片免费观看 | 欧美一级鲁丝片 | 九九福利视频 | 久久99国产精品久久99无号码 | 亚洲国内精品自在线影视 | 一级色| 亚洲自拍高清 | a级毛片视频免费观看 | 久草在线视频新时代视频 | 91网站在线免费观看 | 亚洲综合网在线观看 | 一级在线免费视频 | 怡红院色视频在线 | 一级毛片免费不卡夜夜欢 | 中文字幕亚洲天堂 |