5月21日,在騰訊云AI產(chǎn)業(yè)應(yīng)用峰會(huì)上,騰訊云副總裁李力宣布了騰訊云智算的全新升級(jí)。新升級(jí)瞄準(zhǔn)AI應(yīng)用和模型爆發(fā)對(duì)基礎(chǔ)設(shè)施帶的來(lái)全新挑戰(zhàn),在效能、可靠性、易用性三大方向上全面提升,將為AI大模型訓(xùn)練、智能體部署等場(chǎng)景提供更全面的基礎(chǔ)設(shè)施能力支持。
李力表示,從云計(jì)算時(shí)代到AI時(shí)代,云基礎(chǔ)設(shè)施的技術(shù)進(jìn)化始終以場(chǎng)景作為牽引。隨著大模型的爆發(fā)以及智能體、智駕等應(yīng)用場(chǎng)景加速落地,騰訊云智算會(huì)以AI原生為出發(fā)點(diǎn),打造安全靈活的高性能底座,與開(kāi)發(fā)者和企業(yè)共同探索智能化轉(zhuǎn)型的創(chuàng)新路徑。
在效能維度,騰訊云智算針對(duì)數(shù)據(jù)處理效率低、資源利用率低等痛點(diǎn)問(wèn)題,升級(jí)了多個(gè)技術(shù)能力。基于國(guó)內(nèi)首個(gè)支持跨卡型GPU調(diào)度的Serverless平臺(tái),騰訊云智算最高可支持10萬(wàn)級(jí)并發(fā)數(shù)據(jù)任務(wù)處理,最高請(qǐng)求數(shù)能達(dá)到行業(yè)領(lǐng)先的百萬(wàn)量級(jí);通過(guò)騰訊云存儲(chǔ)數(shù)據(jù)萬(wàn)象中預(yù)置的100多個(gè)數(shù)據(jù)處理任務(wù)模板,幫助企業(yè)數(shù)據(jù)打標(biāo)效率提升50%。
在大模型訓(xùn)練和推理場(chǎng)景中,騰訊云智算基于星脈自研通訊庫(kù),雙端口網(wǎng)卡帶寬利用率達(dá)到峰值相比DeepEP性能可以再提升30%;同時(shí),騰訊云智算打造了更高性價(jià)比的多機(jī)互聯(lián)網(wǎng)絡(luò)vRDMA,并將損耗比降低至不到2%,模型訓(xùn)練效率接近無(wú)損擴(kuò)展。
某頭部車企在智駕模型的訓(xùn)練中,數(shù)據(jù)標(biāo)注效率提升了50%,數(shù)據(jù)處理整體成本降低70%,訓(xùn)練性能提升30%,模型迭代周期降低了40%。
在可靠性維度,針對(duì)AI基礎(chǔ)設(shè)施容易出現(xiàn)的服務(wù)不穩(wěn)定、擴(kuò)容速度慢、 訪問(wèn)速度慢等技術(shù)難點(diǎn),騰訊云智算通過(guò)自研AI服務(wù)器與智能巡檢系統(tǒng),將千卡集群的日均故障率控制在0.16卡以下;依托騰訊云存儲(chǔ)GooseFS,模型分發(fā)時(shí)間從1小時(shí)縮短到了20分鐘;同時(shí),騰訊云全球50多個(gè)可用區(qū),則可使AI應(yīng)用服務(wù)就近接入,服務(wù)穩(wěn)定性提升57%,擴(kuò)容速度提升2倍。
某頭部手機(jī)廠商的AI助手項(xiàng)目應(yīng)用該方案后,服務(wù)網(wǎng)絡(luò)丟包和抖動(dòng)均下降99%,服務(wù)穩(wěn)定性提升57%,同時(shí)實(shí)現(xiàn)200%的擴(kuò)容速度提升。
在易用性維度,為加速智能體規(guī)模化落地,騰訊云智算升級(jí)了AI原生工具鏈。其中,向量數(shù)據(jù)庫(kù)全面支持向量+關(guān)鍵字混合檢索,最高支持千億級(jí)數(shù)據(jù)處理與500萬(wàn)QPS高并發(fā)檢索,并完成業(yè)內(nèi)首家信通院權(quán)威認(rèn)證;騰訊云智能日志服務(wù)可支持統(tǒng)一日志上報(bào)與可觀測(cè)大盤,支持完整鏈路追蹤與異常3分鐘定位;騰訊云智算還升級(jí)了覆蓋大模型全生命周期的安全解決方案,實(shí)現(xiàn)安全事件兩小時(shí)內(nèi)快速響應(yīng)。
某頭部房產(chǎn)中介平臺(tái)搜索業(yè)務(wù),借助騰訊云向量數(shù)據(jù)庫(kù),數(shù)據(jù)召回率增加30%,檢索時(shí)間降低50%,同時(shí)依靠日志和安全能力,異常定位效率提升30%,安全響應(yīng)時(shí)間縮短90%。
目前,騰訊云智算已深度服務(wù)于智能體及AI應(yīng)用、具身智能、自動(dòng)駕駛、互聯(lián)網(wǎng)應(yīng)用等多個(gè)領(lǐng)域。在Gartner最新發(fā)布的生成式AI基礎(chǔ)設(shè)施象限中,其產(chǎn)品性能與未來(lái)潛力均位列亞太廠商首位。
值得一提的是,騰訊云針對(duì)DeepSeek開(kāi)源的DeepEP通信框架進(jìn)行深度優(yōu)化,使其在多種網(wǎng)絡(luò)環(huán)境下均實(shí)現(xiàn)顯著性能提升。相關(guān)技術(shù)方案也獲得了DeepSeek公開(kāi)致謝,稱這是一次“huge speedup”代碼貢獻(xiàn)。