日韩综合网-日韩综合网站-日韩综合一区-日韩综合在线视频-色涩网站-色涩网站在线观看

C114通信網  |  通信人家園

人工智能
2025/4/21 08:48

OpenAI o3 模型基準測試成績遭質疑,實測分數遠不及宣稱

IT之家  遠洋

OpenAI 的 o3 人工智能模型的第一方與第三方基準測試結果存在顯著差異,引發了外界對其公司透明度和模型測試實踐的質疑。

去年 12 月,OpenAI 首次發布 o3 模型時宣稱,該模型能夠在 FrontierMath 這一極具挑戰性的數學問題集上正確回答超過四分之一的問題。這一成績遠遠超過了競爭對手 —— 排名第二的模型僅能正確回答約 2% 的 FrontierMath 問題。OpenAI 首席研究官 Mark Chen 在直播中表示:“目前市場上所有其他產品在 FrontierMath 上的成績都不足 2%,而我們在內部測試中,使用 o3 模型在激進的測試時計算設置下,能夠達到超過 25% 的正確率。”

然而,這一高分似乎是一個上限值,是通過一個計算資源更為強大的 o3 模型版本實現的,而并非是 OpenAI 上周公開發布的版本。負責 FrontierMath 的 Epoch 研究所于上周五公布了其對 o3 模型的獨立基準測試結果,發現 o3 的得分僅為約 10%,遠低于 OpenAI 此前聲稱的最高分數。

這并不意味著 OpenAI 故意撒謊,該公司在 12 月份公布的基準測試結果中也包含了一個與 Epoch 測試結果相符的較低分數。Epoch 還指出,其測試設置可能與 OpenAI 有所不同,并且其評估使用了更新版本的 FrontierMath。Epoch 在報告中寫道:“我們與 OpenAI 的結果差異可能是因為 OpenAI 在內部評估時使用了更強大的計算框架、更多的測試時計算資源,或者是因為這些結果是在 FrontierMath 的不同子集上運行的(例如 2024 年 11 月 26 日版本的 180 個問題與 2025 年 2 月 28 日私有版本的 290 個問題)。”

此外,ARC Prize 基金會(一個測試了 o3 預發布版本的組織)在 X 平臺上發布消息表示,公開發布的 o3 模型是一個“針對聊天 / 產品使用進行了調整的不同模型”,這進一步證實了 Epoch 的報告。ARC Prize 還指出:“所有發布的 o3 計算層級都比我們測試的版本要小。”一般來說,更大的計算層級通常可以獲得更好的基準測試分數。

值得注意的是,盡管公開版本的 o3 未能完全達到 OpenAI 測試時的表現,但這在一定程度上已不再是關鍵問題,因為該公司后續推出的 o3-mini-high 和 o4-mini 模型在 FrontierMath 上的表現已經優于 o3。此外,OpenAI 計劃在未來幾周內推出更強大的 o3 版本 o3-pro。

然而,此事再次提醒人們,人工智能基準測試結果最好不要完全照單全收,尤其是當結果來自一家有產品需要銷售的公司時。隨著人工智能行業競爭的加劇,各供應商紛紛急于通過推出新模型來吸引眼球和市場份額,基準測試“爭議”正變得越來越常見。

IT之家注意到,今年 1 月,Epoch 因在 OpenAI 宣布 o3 之后才披露其從 OpenAI 獲得的資金支持而受到批評。許多為 FrontierMath 做出貢獻的學者直到公開時才知道 OpenAI 的參與。最近,埃隆 馬斯克的 xAI 被指控為其最新的人工智能模型 Grok 3 發布了誤導性的基準測試圖表。就在本月,Meta 也承認其宣傳的基準測試分數所基于的模型版本與提供給開發者的版本不一致。

給作者點贊
0 VS 0
寫得不太好

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

熱門文章
    最新視頻
    為您推薦

      C114簡介 | 聯系我們 | 網站地圖 | 手機版

      Copyright©1999-2025 c114 All Rights Reserved | 滬ICP備12002291號

      C114 通信網 版權所有 舉報電話:021-54451141

      主站蜘蛛池模板: 亚洲人成综合在线播放 | 成年人网站在线观看免费 | 精品一区二区三区的国产在线观看 | 欧美一级片在线观看 | 美女午夜影院 | 怡红院久久 | 国产成人综合91精品 | 亚洲天堂久久精品 | 免看一级一片一在线看 | 亚洲人成网站在线观看播放 | 亚洲美女在线观看播放 | 国产精品精品 | 免费看一片 | 国产欧美亚洲精品 | 国产三级久久久精品三级 | 国产人成精品综合欧美成人 | 成人软件网18免费视频 | 亚洲欧美日韩国产精品26u | wwwxx在线 | 欧美三级不卡在线观看视频 | 欧美日韩一区二区三 | 日本久草网 | 国产成人免费高清激情视频 | 成人在线视频免费看 | 国产一级一片免费播放刺激 | 欧美一级毛片在线一看 | 中文字幕一区二区在线观看 | 亚洲视频在线观看免费视频 | 欧美激情性色生活片在线观看 | 国产原创视频在线 | 真实的国产乱xxxx | 久久精品国产精品亚洲精品 | 欧美日本一区二区 | 真人毛片 | 国产精品九九视频 | 国产第一页在线观看 | 美女一级ba大片免色野外 | 日韩a级| 久草国产在线 | 97精品国产91久久久久久久 | 欧美性视频一区二区三区 |