日韩综合网-日韩综合网站-日韩综合一区-日韩综合在线视频-色涩网站-色涩网站在线观看

專題
`
2023/4/20 11:33
馮丹教授:近數據處理新型盤框等技術創新,加速IDC向Diskless架構演進
0
0

日前,在中國深圳舉辦的第20屆華為全球分析師大會,長江學者特聘教授、華中科技大學計算機科學與技術學院院長馮丹對數據中心Diskless架構及近數據處理發展趨勢做出了權威解讀,為傳統云存儲、大數據等計算域和存儲域不完全分離造成的資源浪費,提出了一個新的技術解決方向,幫助云和互聯網數據中心降本增效,實現數據中心高質量演進。

馮丹教授提到,傳統存算融合架構下,企業通常采用應用與本地盤耦合的服務器一體化架構,存在存力效率低、無效數據遷移、資源浪費等典型問題:

1、計算域和存儲域未徹底分離,仍各自存在獨立的本地存儲,往往按照最大容量預設配置,存力利用率低;

2、采用通用算力進行數據處理,IO效率低,存儲域仍以CPU為中心,存取性能無法充分發揮;

3、數據從盤到計算域CPU,需要8次以上數據搬遷,無效搬遷帶來了網絡和算力資源的浪費;

4、在存算融合的上千節點大規模集群中,算力、容量空間配比無法均衡,擴容時需要額外遷移數據,不僅帶來現有業務風險,還會浪費投資;

5、數據爆發增長,面向結構化數據的數據縮減策略不完全適用于非結構化場景。

隨著算力多樣化、高性能網絡和存儲介質的發展,數據中心架構從以CPU中心朝著以數據為中心的Diskless架構演進。Diskless架構下,單一CPU算力發展到GPU、DPU、XPU等多樣算力,算力效率得以充分發揮;網絡從IP、NOF發展到高通量的CXL,為算力和存力等硬件解耦奠定了基礎;存力也從傳統HDD到SSD,性能、功耗實現全面提升。在Intel、華為、KIOXIA、阿里云等業界芯片、存儲、云和互聯網廠商的積極推進下,Diskless架構借助專用DPU/IPU等數據處理芯片和OceanDisk等專用存儲模塊,進一步提升數據處理和存儲的效能,充分調動數據中心資源。

馮丹教授表示,資源池化共享的Diskless架構應具備以下關鍵技術:

1、網存協同,DPU硬件卸載加速,數據高效協同處理。通過DPU等專有數據處理模塊,使服務器CPU全為應用服務,基礎設施與應用任務解耦,將VirtIO、NVMe-oF等CPU計算效率低任務轉移到DPU的專用加速器執行,實現資源彈性擴展。

2、數控分離+IO直通,實現控制流與IO流分離,IO直通到存儲介質,進一步提升存儲效率。通過數控分離,可達到極致IO訪問時延,通過存儲域IO讀寫數據流與IO控制處理的分離,使得讀寫IO直通到存儲介質中,減少IO處理路徑,降低處理復雜度,極大提升存儲域訪問性能。計算域則可以借助DPU bypass CPU,減少數據拷貝開銷,提升IO訪問性能。

3、盤控協同,盤芯片與控制器芯片配合,提升集成度,達到最佳成本和能耗。盤控協同技術的關鍵是要實現高性能、低成本的大盤,通過硬件對盤控系統內的算法進行加速,比如利用FPGA實現FTL/DIF/在線壓縮/加密/EC/GC等硬化,提升性能;盤內和框內的各類驅動和緩存層合一,實現盤框一體,構建極致成本和能耗的大盤存儲。

4、算子卸載,EC、數據縮減等算法通過硬件卸載到存儲端,實現近數據處理。通過計算語義的卸載,存儲直出語義接口,主機側軟件棧打薄,減少80%的IO交互次數,實現對整系統的CPU和網絡帶寬節省。同時,在大數據/數據倉庫場景,可以利用引擎的下推接口,下推謂詞和投影等運算操作到存儲資源池,減少無效數據的搬移。

馮丹教授表示:“從技術趨勢來看,高性能異構算力、高速網絡、大存力新型盤框、算子卸載等技術的發展,帶來了數據中心架構的變革,加速了以CPU為中心的耦合架構走向徹底存算分離、資源池化共享的以數據為中心的Diskless架構,這種架構進一步簡化了數據中心基礎設施構建,能夠實現存力和算力資源的集約高效發展,已經成為大規模數據中心發展的重要技術趨勢。”

華為去年發布的OceanDisk智能盤框產品,是一個標準的大存力新型盤框產品。OceanDisk通過NoF+高速網絡連接Diskless服務器,實現計算和存儲獨立彈性擴展,幫助客戶提高資源利用率,機柜空間和設備功耗分別降低40%;內置FlashLink 智能盤框協同算法等軟硬結合技術,帶來最大250萬IOPS,50GB/s帶寬的高性能;依托華為多年存儲研發實力,OceanDisk智能盤框提供硬盤亞健康管理、智能慢盤優化等技術,保持大規模數據中心10萬級硬盤的性能穩定,大幅降低運維難度。OceanDisk作為業界首個面向Diskless架構的新型盤框,將以高性能、高可靠、綠色集約重新定義下一代云和互聯網數據中心存儲架構。

免責聲明:本文僅代表作者個人觀點,與C114通信網無關。其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,并請自行核實相關內容。

給作者點贊
0 VS 0
寫得不太好

C114簡介     聯系我們     網站地圖

Copyright©1999-2025 c114 All Rights Reserved 滬ICP備12002291號-4

C114通信網版權所有 舉報電話:021-54451141 用戶注銷

主站蜘蛛池模板: 伊人久久综合热青草 | 各种偷拍盗摄视频在线观看 | 免费手机黄色网址 | 欧美视频在线观看免费精品欧美视频 | 成人a视频片在线观看免费 成人a视频在线观看 | 真实国产普通话对白乱子子伦视频 | 国产日韩欧美网站 | 久久久久久久国产高清 | 欧美日韩一区二区三区在线 | 亚洲欧美国产精品专区久久 | www亚洲精品| 亚洲欧美另类日本久久影院 | 亚洲精品国产一区二区图片欧美 | 国产深夜福利视频观看 | 日韩在线视频一区二区三区 | 韩国主播19福利视频在线 | 欧美特级视频 | 国产精品日本一区二区在线播放 | 欧美大片一区二区三区 | 一本久久道| 日本特一级毛片免费视频 | 三级黄色网址 | 手机免费在线看毛片 | 91精品国产91久久久久久青草 | 99国产在线视频 | 三级网站大全 | 深夜国产| 国产区精品一区二区不卡中文 | 日本特黄特色免费大片 | 日韩一品在线播放视频一品免费 | 欧美日韩亚洲成色二本道三区 | 1204国产成人精品视频 | 久久精品国产午夜伦班片 | 午夜欧美日韩在线视频播放 | 中文字幕一区在线观看 | 亚洲视频 在线观看 | 欧美亚洲日本 | 日韩毛片欧美一级国产毛片 | 成在线人视频免费视频 | 亚洲好视频 | 精品免费国产一区二区三区 |