日韩综合网-日韩综合网站-日韩综合一区-日韩综合在线视频-色涩网站-色涩网站在线观看

專題
`
2024/4/8 15:57
騰訊云存儲面向AIGC全面升級,搭載全面自研存儲引擎
0
0

云廠商繼續為大模型加速落地鋪路架橋。

4月8日,騰訊云宣布云存儲解決方案面向AIGC場景全面升級,能夠針對AI大模型數據采集清洗、訓練、推理、數據治理全流程提供全面、高效的云存儲支持。數據顯示,采用騰訊云AIGC云存儲解決方案,可將大模型的數據清洗和訓練效率均提升一倍,需要的時間縮短一半。

據介紹,騰訊云AIGC云存儲解決方案主要由對象存儲COS、高性能并行文件存儲CFS Turbo、數據加速器GooseFS和數據萬象CI等產品組成,是國內首個實現存儲引擎全面自研的云存儲解決方案。目前,已經有80%的頭部大模型企業選擇了騰訊云AIGC云存儲解決方案,包括百川智能、智譜、元象等明星大模型企業。

此前,騰訊云已經面向AIGC場景推出了基于星脈網絡的大模型訓練集群HCC、向量數據庫、以及行業大模型服務MaaS等大模型全鏈路云服務。

騰訊集團副總裁、騰訊云與智慧產業事業群COO兼騰訊云總裁邱躍鵬曾經表示,大模型將開創下一代云服務,騰訊云致力于打造“最適合大模型的云”。

解決大模型全鏈路數據處理難題

AI大模型的研發生產流程,分成數據采集與清洗、模型訓練、推理三大環節,各環節都涉及海量的數據處理。

在數據采集與清洗環節,由于原始訓練數據規模海量,且來源多樣,對存儲技術提出了多協議支持、高性能、大帶寬的需求。

騰訊云對象存儲COS支持單集群管理百 EB 級別存儲規模,提供便捷、高效的數據公網接入能力,并支持多種協議,充分支持大模型PB級別的海量數據采集。在數據清洗環節,大數據引擎需要快速地讀取并過濾出有效數據,COS通過自研數據加速器GooseFS提升數據訪問性能,可實現高達數TBps的讀取帶寬,支撐計算高速運行,大大提升數據清洗效率。

在模型訓練環節,通常需要每2-4小時保存一次訓練成果,以便能在GPU故障時時能回滾,因此快速地讀寫checkpoint(檢查點)文件也成了能否高效利用算力資源、提高訓練效率的關鍵。

騰訊云自主研發并行文件存儲CFS Turbo ,面向AIGC訓練場景的進行了專門優化,每秒總讀寫吞吐達到TiB/s級別,每秒元數據性能高達百萬OPS,均為業界第一。3TB checkpoint 寫入時間從10分鐘,縮短至10秒內,使大模型訓練效率大幅提升。

大模型推理場景對數據安全與可追溯性提出更高要求。騰訊云數據萬象CI為此提供圖片隱式水印、AIGC內容審核、智能數據檢索MetaInsight等能力,為數據生產從“用戶輸入——預處理——內容審核——版權保護——安全分發——信息檢索“業務全流程提供有力支撐,優化AIGC內容生產與管理模式,順應監管導向,拓寬存儲邊界。

同時,隨著訓練數據和推理數據的增長,需要提供低成本的存儲能力,減少存儲開銷。對象存儲服務提供了高達 12 個 9 的數據持久性和 99.995% 的數據可用性,能夠為業務提供持續可用的存儲服務。

業內唯一全自研存儲引擎

卓越的性能表現,源自騰訊云自主研發的存儲引擎與自研技術。這也是國內目前唯一實現存儲引擎全面自研的云存儲解決方案。

騰訊云自研的分布式對象存儲引擎YottaStore,支持任意多副本及糾刪碼冗余模式并存,在大幅提升可用性、可靠性及性能的同時大幅降低成本。基于YottaStore,騰訊云對象存儲服務COS作為統一的數據存儲池,支持單集群1萬臺服務器,單集群百EB級的存儲。

在數據清洗環節中,數據加速器GooseFS可根據數據的使用頻率,將數據智能存儲至內存、計算集群的本地盤、或可用區的全閃存儲集群等不同級別的緩存中,低成本縮短IO路徑,提升數據訪問性能。相比起從對象存儲COS中直接讀取,GooseFS可以提供亞毫秒級的數據訪問延遲、百萬級的IOPS和Tbps級別的吞吐能力,有效提升數據清洗效率。

面向模型訓練場景的CFS Turbo,則是目前業內唯一自研的并行文件存儲系統。

基于自研分布式高性能存儲引擎Histor,CFS Turbo底層通過自研用戶態協議棧和RDMA等技術,減少數據的多次拷貝與虛擬化消耗,大幅降低了存儲時延、提升吞吐性能;在應用側,CFS Turbo自研并行文件傳輸協議,實現了多鏈路并行訪問,大大提升了吞吐效率。原來的文件存儲受限于傳統NFS協議,單客戶端只能單鏈路訪問,也導致吞吐存在性能瓶頸。

此外,針對AIGC的checkpoint記錄、大視頻文件讀寫、小圖片讀寫等場景,騰訊云CFS Turbo還自研了分級緩存、自適應條帶化、分布式元數據的技術,大幅提升了AIGC場景下的讀寫性能。除了大模型企業以外,CFS Turbo也被廣泛應用于自動駕駛與工業仿真場景,包括博世汽車、蔚來等自動駕駛廠商,上海電氣、深勢等仿真場景,墨鏡天合、追光等影視特效場景。

今年1月,在沙利文聯合頭豹研究院發布的《2023年中國云存儲解決方案市場報告》中,騰訊云存儲入選“領導者”陣營,位列第一。隨著AIGC時代來臨,騰訊云也在不斷迭代優化自身產品,服務最新場景需求,幫助企業把握時代紅利。

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

給作者點贊
0 VS 0
寫得不太好

C114簡介     聯系我們     網站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號-4

C114通信網版權所有 舉報電話:021-54451141 用戶注銷

主站蜘蛛池模板: 国产小视频在线高清播放 | 中国黄色网址大全 | 欧美a一级| 国产亚洲一区呦系列 | 手机在线精品视频 | 久久精品香蕉 | 国产人成午夜免费噼啪视频 | 美女视频永久黄网站免费观看韩国 | 久久综合成人网 | 黄色成人毛片 | 高清国产美女一级a毛片 | 99热只有精品一区二区 | 国产精品一区二区综合 | 女人张开双腿让男人 | 午夜不卡在线 | 亚洲国产精品日韩在线观看 | 99久久精品国产免看国产一区 | 九草在线观看 | 日韩黄色在线 | 撸久久| 成人影院在线免费观看 | 亚洲炮网| 欧美激情综合亚洲一二区 | 综合在线播放 | www.91免费视频 | 欧美三级色 | 亚洲午夜精品一区二区 | 最新中文字幕视频 | 色综合视频一区二区观看 | 久久久网站| 成人手机在线视频 | 亚洲一区欧洲一区 | 午夜影院a级片 | 俺来也俺来也天天夜夜视频 | 中国一级性生活片 | 2020黄网| 日韩高清成人毛片不卡 | 久久99国产亚洲高清观看首页 | 波多野结衣免费观看视频 | 久久久久久国产精品视频 | 999热成人精品国产免 |