C114訊 5月20日消息(九九)5月17日,2025世界電信和信息社會日“智算產業創新發展論壇”在南昌舉辦,華為昇騰計算業務副總裁王慶文在演講中指出,大模型的性能在很多方面已經可以與人類媲美,并且在快速收斂,從原來的千模百態收斂到十來家,隨著推理成本的大幅下降開始在很多行業獲得應用,為醫療診斷、工業質檢、AI教學等方面帶來卓有成效的提升。
Gartner預測,未來兩年80%中國企業將部署生成式AI,60%會將AI融入產品服務,標志著企業AI應用從通用場景向核心生產場景滲透的“奇點時刻”到來,企業AI部署已進入全面深化階段。
王慶文進一步指出,運營商憑借領先的泛在多級訓推資源,既能滿足中小企業的靈活需求,也能支撐大型企業核心業務及海量用戶場景,并通過多租戶部署技術,保障大租戶資源獨立、中小租戶性能提升的同時全方位確保數據安全。
王慶文介紹,昇騰從基礎硬件、算子到推理系統全面創新,面向不同的推理場景需求,為包含運營商在內的客戶及伙伴提供集高性能、高可靠、易部署、開源開放于一體的推理解決方案。
面向大型企業、C端超級應用等需要大規模推理算力資源的場景,高并發、低時延下的吞吐性能是關鍵。昇騰國內首創大規模專家并行集群推理方案:通過將MoE模型的多專家權重數據 分散部署到更多的卡上,降低單卡權重加載時延,讓模型解碼輸出更快;單卡內存容量占用的降低,也能夠支持更大用戶并發所需的KV緩存,實現系統的更大吞吐性能,平均單卡吞吐性能提升3倍以上,大幅降低每Token推理成本,幫助運營商構筑高性能的AI算力基礎設施,為行業客戶帶來更優的業務體驗。
面向中小企業、學校和醫院等機構需要快速部署、快速落地AI應用的需求,昇騰使能運營商打造大模型應用一體機。打包量化、調優等工具鏈顯著提升50%部署效率,通過MLA(Multi-Head Latent Attention)親和等特性,提升吞吐性能90%,從模型部署到應用上線實現“即開即用”,降低AI部署門檻,幫助運營商賦能千行萬業智能化轉型。目前已有超140家合作伙伴基于昇騰發布大模型應用一體機產品,為各行業場景提供廣泛的智能應用。
演講的最后,王慶文表示,昇騰將致力于打造堅實的算力底座,攜手運營商及ISV等產業伙伴破解算力供給與場景落地的關鍵挑戰,加速AI在千行萬業的落地應用,為產業融合升級注入強勁動能。