omniture

業(yè)界首個(gè)《分布式融合存儲(chǔ)研究報(bào)告》發(fā)布,打造智算時(shí)代新存儲(chǔ)底座

2023-11-30 20:06 3804

北京2023年11月30日 /美通社/ -- 2023年11月30日,中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院、存儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟聯(lián)合華中科技大學(xué)、中山大學(xué)、之江實(shí)驗(yàn)室、浪潮信息、天翼云等20多家學(xué)研機(jī)構(gòu)、企業(yè)和用戶代表,共同撰寫(xiě)的業(yè)界首個(gè)《分布式融合存儲(chǔ)研究報(bào)告》(以下簡(jiǎn)稱:《報(bào)告》)正式發(fā)布?!秷?bào)告》首次系統(tǒng)梳理并深入分析了分布式融合存儲(chǔ)的概念、技術(shù)架構(gòu)和應(yīng)用場(chǎng)景,為融合存儲(chǔ)產(chǎn)業(yè)發(fā)展提供參考和指引。

中國(guó)電子技術(shù)標(biāo)準(zhǔn)化研究院領(lǐng)導(dǎo)表示,"數(shù)據(jù)成為重要的生產(chǎn)要素,數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)管理在信息技術(shù)變革中的作用更加顯著。分布式融合存儲(chǔ)作為存儲(chǔ)新技術(shù),在數(shù)據(jù)存儲(chǔ)領(lǐng)域?qū)?huì)發(fā)揮更大作用。"

中國(guó)計(jì)算機(jī)行業(yè)協(xié)會(huì)信息存儲(chǔ)與安全專委會(huì)會(huì)長(zhǎng)、華中科技大學(xué)教授謝長(zhǎng)生表示,"存儲(chǔ)作為數(shù)字技術(shù)底座之一,既得到空前發(fā)展也面臨巨大挑戰(zhàn),分布式融合存儲(chǔ)就是迎接這種挑戰(zhàn)的關(guān)鍵技術(shù),該報(bào)告匯聚了學(xué)術(shù)界、產(chǎn)業(yè)界和用戶的集體智慧和經(jīng)驗(yàn),描述了一副全景視圖。"

《分布式融合存儲(chǔ)研究報(bào)告》
《分布式融合存儲(chǔ)研究報(bào)告》

分布式融合存儲(chǔ)將成為智算時(shí)代的數(shù)據(jù)基石

中國(guó)工程院院士、清華大學(xué)教授鄭緯民指出,"數(shù)字化和智能化催生數(shù)據(jù)量爆炸式增長(zhǎng),分布式融合存儲(chǔ)技術(shù)的出現(xiàn),不僅可以提供數(shù)據(jù)存儲(chǔ)的效率和安全性,還可以實(shí)現(xiàn)數(shù)據(jù)的動(dòng)態(tài)管理和智能優(yōu)化,為各種應(yīng)用場(chǎng)景提供更加全面和可靠的數(shù)據(jù)支持。"

《報(bào)告》指出,相較于傳統(tǒng)的分布式存儲(chǔ)技術(shù),分布式融合存儲(chǔ)是在傳統(tǒng)的分布式存儲(chǔ)架構(gòu)的基礎(chǔ)上,實(shí)現(xiàn)了同一存儲(chǔ)集群同時(shí)提供多種存儲(chǔ)服務(wù),并且在非結(jié)構(gòu)化數(shù)據(jù)協(xié)議間實(shí)現(xiàn)了協(xié)議融合、數(shù)據(jù)融合互通的存儲(chǔ)技術(shù),其能夠提供跨模式/格式數(shù)據(jù)共享互通的能力,并支持塊、文件、對(duì)象、大數(shù)據(jù)多協(xié)議接入以及多協(xié)議關(guān)聯(lián)統(tǒng)一管理,滿足多應(yīng)用跨不同協(xié)議實(shí)現(xiàn)高效的數(shù)據(jù)互通訪問(wèn)。

該報(bào)告明確了分布式融合存儲(chǔ)的四大關(guān)鍵技術(shù):統(tǒng)一存儲(chǔ)池,保證數(shù)據(jù)能夠均衡地分布在各個(gè)存儲(chǔ)節(jié)點(diǎn)中,支持存儲(chǔ)池的橫向擴(kuò)展,以及數(shù)據(jù)自動(dòng)修復(fù)能力;存儲(chǔ)服務(wù)融合,在一套存儲(chǔ)系統(tǒng)中同時(shí)提供文件、對(duì)象、大數(shù)據(jù)和塊存儲(chǔ)服務(wù),同時(shí)具備豐富的多協(xié)議支持能力;數(shù)據(jù)管理融合,采用統(tǒng)一的非結(jié)構(gòu)化數(shù)據(jù)和元數(shù)據(jù)管理架構(gòu),保證各協(xié)議的原生訪問(wèn);存儲(chǔ)協(xié)議融合,支持NFS、CIFS、HDFS、S3等非結(jié)構(gòu)化數(shù)據(jù)協(xié)議的融合互通,保證了各種協(xié)議共享同一份數(shù)據(jù)和元數(shù)據(jù)。分布式融合存儲(chǔ)通過(guò)對(duì)底層硬件資源進(jìn)行高通用性且細(xì)粒度的管理,可極大地緩解智算時(shí)代數(shù)據(jù)急劇增長(zhǎng)所導(dǎo)致的存儲(chǔ)資源緊張問(wèn)題。

分布式融合存儲(chǔ)架構(gòu)
分布式融合存儲(chǔ)架構(gòu)

為五大典型場(chǎng)景提供強(qiáng)大存力支撐

分布式融合存儲(chǔ)在海量多源異構(gòu)數(shù)據(jù)處理和"通信、感知、計(jì)算"一體化的邊緣場(chǎng)景方面提供了強(qiáng)有力的存力支撐,使其能夠滿足不同場(chǎng)景對(duì)于存儲(chǔ)的需求,為當(dāng)前的數(shù)字化轉(zhuǎn)型時(shí)代提供了高效、多維、貫通和定制化的生產(chǎn)要素,讓數(shù)據(jù)驅(qū)動(dòng)向全場(chǎng)景滲透。

《報(bào)告》總結(jié)了分布式融合存儲(chǔ)的五大典型應(yīng)用場(chǎng)景:

  • 以自動(dòng)駕駛為代表的深度學(xué)習(xí)場(chǎng)景:自動(dòng)駕駛場(chǎng)景中數(shù)據(jù)量比較大,并且數(shù)據(jù)類型復(fù)雜。在整個(gè)數(shù)據(jù)生命周期中,根據(jù)不同階段的應(yīng)用,需要使用不同的協(xié)議。而分布式融合存儲(chǔ)則實(shí)現(xiàn)多協(xié)議互訪互通,并具備極致聚合性能,能夠滿足數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練對(duì)于存儲(chǔ)帶寬、小文件處理、存儲(chǔ) IO 等方面的要求,使業(yè)務(wù)流程更加簡(jiǎn)潔高效;
  • 以 AI/AIGC 為代表的大模型應(yīng)用場(chǎng)景:模型的訓(xùn)練是AI開(kāi)發(fā)的核心,這要求存儲(chǔ)系統(tǒng)提供高帶寬和高并發(fā)性能。分布式融合存儲(chǔ)可避免因訪問(wèn)協(xié)議不同造成的數(shù)據(jù)拷貝,并提供海量多源數(shù)據(jù)、高性能、低延遲的存儲(chǔ)基礎(chǔ)設(shè)施,為AI應(yīng)用的訓(xùn)練和推理提供強(qiáng)大存儲(chǔ)能力的支撐;
  • 以湖倉(cāng)一體為代表的數(shù)據(jù)智能應(yīng)用場(chǎng)景:湖倉(cāng)一體的架構(gòu),數(shù)據(jù)來(lái)源多種多樣,面向的服務(wù)和存儲(chǔ)協(xié)議多種多樣,所以融合存儲(chǔ)是必然趨勢(shì)。分布式融合存儲(chǔ)為該場(chǎng)景提供了更高的計(jì)算擴(kuò)展性,可為各類計(jì)算引擎同時(shí)提供存儲(chǔ)需求,并實(shí)現(xiàn)協(xié)同合作和數(shù)據(jù)共享;
  • 金融風(fēng)控場(chǎng)景:金融風(fēng)控場(chǎng)景的特殊性意味著,其對(duì)于存儲(chǔ)系統(tǒng)的可用性、數(shù)據(jù)一致性、可擴(kuò)展性、數(shù)據(jù)安全性、性能都提出了很高的要求。分布式融合存儲(chǔ)通過(guò)高可用、高安全、高擴(kuò)展、高性能設(shè)計(jì),能夠支撐系統(tǒng)實(shí)時(shí)數(shù)據(jù)訪問(wèn)和靈活擴(kuò)容,滿足大規(guī)模數(shù)據(jù)存儲(chǔ)與分析的需求;
  • HPC高性能計(jì)算場(chǎng)景:在高性能計(jì)算領(lǐng)域,分布式融合存儲(chǔ)技術(shù)的應(yīng)用作用愈發(fā)重要,它通過(guò)將多種存儲(chǔ)業(yè)務(wù)資源集成為一個(gè)整體,以滿足對(duì)文件、對(duì)象、塊功能的需求,以及性能和容量的要求,并提供高可靠性和可擴(kuò)展性,為科學(xué)計(jì)算和數(shù)據(jù)分析提供了可信賴的數(shù)據(jù)基礎(chǔ)。

分布式融合存儲(chǔ)正成為用戶首選的存儲(chǔ)底座

《報(bào)告》預(yù)測(cè),分布式融合存儲(chǔ)這一新興技術(shù)目前正處于發(fā)展早期階段,仍面臨多服務(wù)融合的高性能挑戰(zhàn),新存儲(chǔ)形態(tài)的標(biāo)準(zhǔn)化挑戰(zhàn)和智能化的運(yùn)維管理挑戰(zhàn)。

同時(shí),分布式融合存儲(chǔ)擁有廣闊前景,首先分布式融合存儲(chǔ)有助于"存力"構(gòu)建,符合政策方向;其次,分布式融合存儲(chǔ)在一套存儲(chǔ)架構(gòu)有效組織管理不同存儲(chǔ)介質(zhì)、存儲(chǔ)協(xié)議和存儲(chǔ)服務(wù),使得"一套存儲(chǔ)架構(gòu)支持一個(gè)數(shù)據(jù)中心"成為可能;以AI大模型為基礎(chǔ)技術(shù),未來(lái)涌現(xiàn)的各類新應(yīng)用需要更強(qiáng)大的數(shù)據(jù)基礎(chǔ)設(shè)施和數(shù)據(jù)平臺(tái)能力,帶來(lái)不可估量的市場(chǎng)空間,注定分布式融合存儲(chǔ)未來(lái)大為可期。

存儲(chǔ)產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟秘書(shū)長(zhǎng)李仁剛提出,"云計(jì)算、大數(shù)據(jù)和人工智能等技術(shù)的快速發(fā)展,將推動(dòng)分布式融合存儲(chǔ)的進(jìn)一步應(yīng)用、推廣,成為越來(lái)越多行業(yè)用戶的首選存儲(chǔ)底座。"

消息來(lái)源:浪潮信息
China-PRNewsire-300-300.png
全球TMT
微信公眾號(hào)“全球TMT”發(fā)布全球互聯(lián)網(wǎng)、科技、媒體、通訊企業(yè)的經(jīng)營(yíng)動(dòng)態(tài)、財(cái)報(bào)信息、企業(yè)并購(gòu)消息。掃描二維碼,立即訂閱!
collection