全閃存存儲(chǔ)的歷史性時(shí)刻到來(lái)!
北京2023年8月30日 /美通社/ -- Gartner最新數(shù)據(jù)顯示,2023年第一季度全球外部存儲(chǔ)市場(chǎng)同比增長(zhǎng)0.5%;其中,全閃存陣列同比增長(zhǎng)3.6%,市場(chǎng)規(guī)模超過(guò)非全閃存陣列,占整個(gè)外部存儲(chǔ)市場(chǎng)收入的50.4%。
這標(biāo)志著數(shù)據(jù)存儲(chǔ)市場(chǎng)的拐點(diǎn)已來(lái)臨。過(guò)去幾年,全球經(jīng)濟(jì)和市場(chǎng)經(jīng)歷了大的動(dòng)蕩與變化,全閃存存儲(chǔ)依然能穿越周期和保持增長(zhǎng),實(shí)屬難能可貴。
與此同時(shí),隨著千行百業(yè)的數(shù)字化轉(zhuǎn)型步入深水區(qū),數(shù)據(jù)已然成為數(shù)字化時(shí)代的核心生產(chǎn)要素、戰(zhàn)略資源以及價(jià)值創(chuàng)造的基礎(chǔ),大數(shù)據(jù)、機(jī)器學(xué)習(xí)、大模型等新應(yīng)用的蓬勃發(fā)展,既帶來(lái)PB級(jí)容量、千萬(wàn)IOPS、智能化管理等全新的數(shù)據(jù)存儲(chǔ)需求,也加速驅(qū)動(dòng)著一個(gè)全閃存時(shí)代的到來(lái)。
全閃存為何能當(dāng)?shù)?/b>
很長(zhǎng)一段時(shí)間內(nèi),外部存儲(chǔ)系統(tǒng)領(lǐng)域一直都是傳統(tǒng)機(jī)械硬盤唱主角,直到2008年閃存才正式在高端存儲(chǔ)系統(tǒng)中得到應(yīng)用。2010年左右,Violin Memory、PureStorage、XtremIO等大批全閃存陣列初創(chuàng)公司的出現(xiàn),標(biāo)志著全閃存系統(tǒng)浪潮的興起。
從傳統(tǒng)機(jī)械硬盤到閃存,不僅僅是介質(zhì)的一次升級(jí),更意味著數(shù)據(jù)中心基礎(chǔ)設(shè)施的一次重構(gòu)。眾所周知,傳統(tǒng)機(jī)械硬盤近年來(lái)陷入技術(shù)瓶頸,在容量密度、性能等方面增長(zhǎng)緩慢,使得基于機(jī)械硬盤的傳統(tǒng)存儲(chǔ)系統(tǒng)愈發(fā)難以滿足各種應(yīng)用的數(shù)據(jù)存儲(chǔ)需求;相反,基于閃存的全閃存儲(chǔ)具備高密度、高可靠、高性能、低延遲、低能耗等特征,逐漸成為數(shù)據(jù)中心基礎(chǔ)設(shè)施的主力軍。
歸根結(jié)底,用戶在數(shù)據(jù)存儲(chǔ)需求層面發(fā)生的根本性變化,是推動(dòng)全閃存儲(chǔ)逐漸獲得用戶青睞的一大動(dòng)因,也使得全閃存在數(shù)據(jù)中心等基礎(chǔ)設(shè)施領(lǐng)域徹底打開(kāi)市場(chǎng)局面:
其一、全閃存適用的應(yīng)用場(chǎng)景正呈現(xiàn)出多點(diǎn)開(kāi)花的局面。過(guò)去,人們普遍認(rèn)為全閃存只適合那些要求百萬(wàn)IOPS和毫秒延遲的數(shù)據(jù)庫(kù)等核心業(yè)務(wù)場(chǎng)景;事實(shí)上,當(dāng)前全閃存所承載的業(yè)務(wù)場(chǎng)景遠(yuǎn)比過(guò)去豐富,除了數(shù)據(jù)庫(kù)、ERP、虛擬化等傳統(tǒng)業(yè)務(wù)應(yīng)用之外,像自動(dòng)駕駛、大模型、大數(shù)據(jù)分析、分布式數(shù)據(jù)庫(kù)等新興應(yīng)用均是首選全閃存。
例如,在各種大促場(chǎng)景中,很多金融機(jī)構(gòu)用戶會(huì)利用全閃存來(lái)應(yīng)對(duì)短時(shí)間內(nèi)的流量高峰;在智慧醫(yī)療場(chǎng)景,醫(yī)院會(huì)通過(guò)全閃存來(lái)支撐起多臺(tái)醫(yī)療設(shè)備對(duì)于PACS系統(tǒng)同時(shí)連續(xù)寫入,為各種人群提供良好的體驗(yàn);在大模型訓(xùn)練場(chǎng)景,頻繁從數(shù)據(jù)集讀取Token非常容易形成實(shí)時(shí)高并發(fā)的海量小IO,需要全閃存的大帶寬、高IOPS來(lái)匹配業(yè)務(wù)需求……
其二、應(yīng)用場(chǎng)景對(duì)于數(shù)據(jù)實(shí)時(shí)性的需求正變得極度渴望,也讓全閃存如魚(yú)得水。眾所周知,"天下武功唯快不破",在數(shù)據(jù)成為價(jià)值創(chuàng)新基礎(chǔ)的今天,企業(yè)對(duì)于業(yè)務(wù)決策、產(chǎn)品研發(fā)、用戶體驗(yàn)優(yōu)化等也是"快"字當(dāng)頭,直接驅(qū)動(dòng)著對(duì)于數(shù)據(jù)存儲(chǔ)性能的需求。
以當(dāng)前已在智能客服、生物識(shí)別、互聯(lián)網(wǎng)金融、精準(zhǔn)營(yíng)銷等場(chǎng)景中廣泛落地的AIGC為例,其在金融虛擬客服應(yīng)用場(chǎng)景中,往往模型參數(shù)達(dá)到千億級(jí),原始數(shù)據(jù)高達(dá)PB級(jí),具有持續(xù)的低延時(shí)和高帶寬等業(yè)務(wù)特性,全閃存在大模型訓(xùn)練和推理場(chǎng)景中發(fā)揮著關(guān)鍵作用,AIGC領(lǐng)域的用戶們幾乎清一色選擇全閃存。
其三、數(shù)據(jù)中心近年來(lái)設(shè)備數(shù)量大幅增加,無(wú)形中增加了數(shù)據(jù)中心運(yùn)維管理的成本與復(fù)雜性,并對(duì)于基礎(chǔ)設(shè)施的可靠性帶來(lái)了更多風(fēng)險(xiǎn),而在同等性能與容量的情況下,全閃存無(wú)疑能夠帶來(lái)更有效且精簡(jiǎn)的基礎(chǔ)設(shè)施,并且具備比傳統(tǒng)存儲(chǔ)設(shè)備更高的可靠性。
其四、隨著雙碳目標(biāo)的提出,越來(lái)越多企業(yè)有著節(jié)能降耗的壓力。在相同容量、相同性能的情況下,全閃存存儲(chǔ)的設(shè)備數(shù)量、能耗和空間要遠(yuǎn)低于基于機(jī)械硬盤的存儲(chǔ)系統(tǒng)。相關(guān)數(shù)據(jù)預(yù)測(cè),到2025年,數(shù)據(jù)中心能耗將占全球總能耗4.5%,這其中數(shù)據(jù)存儲(chǔ)又是數(shù)據(jù)中心的能耗大戶,采用全閃存來(lái)降低能耗已經(jīng)成為越來(lái)越多用戶的選擇。
除了用戶需求層面的驅(qū)動(dòng)外,全閃存在閃存介質(zhì)、接口協(xié)議、軟件架構(gòu)以及應(yīng)用生態(tài)支持等方面也取得長(zhǎng)足進(jìn)步和全面蛻變,真正實(shí)現(xiàn)了內(nèi)外兼修和軟硬兼施,契合數(shù)據(jù)存儲(chǔ)需求的變化。
技術(shù)生態(tài)迎來(lái)全面蛻變
某種程度而言,數(shù)據(jù)存儲(chǔ)需求的變化與閃存技術(shù)的發(fā)展就像一場(chǎng)雙向奔赴,彼此獲得價(jià)值實(shí)現(xiàn)的同時(shí),也讓數(shù)據(jù)中心基礎(chǔ)設(shè)施獲得徹底重構(gòu)。在這場(chǎng)雙向奔赴中,全閃存儲(chǔ)就像一股催化劑,加速了重構(gòu)的速度與范圍。
具體來(lái)看,閃存性能雖出眾,但成本一直相對(duì)較高,這與很多用戶持續(xù)的數(shù)據(jù)增長(zhǎng)需求不匹配。為此,閃存介質(zhì)近年來(lái)飛速發(fā)展,在容量和成本上獲得大幅突破。最新QLC SSD容量最高達(dá)到驚人的61.44TB,容量增長(zhǎng)速度遠(yuǎn)超傳統(tǒng)機(jī)械硬盤;另外,閃存成本也在持續(xù)下降,IDC預(yù)測(cè)SSD每GB價(jià)格預(yù)計(jì)在2020-2025年以19%的年復(fù)合增長(zhǎng)率下降,預(yù)計(jì)到2025年會(huì)低于2.5寸10000轉(zhuǎn)機(jī)械硬盤的價(jià)格。
事實(shí)上,今年以來(lái),多家企業(yè)級(jí)存儲(chǔ)廠商均表示會(huì)推出基于QLC SSD的全閃存儲(chǔ),有望進(jìn)一步推動(dòng)閃存成本的下降。
除了閃存價(jià)值之外,全閃存儲(chǔ)也推動(dòng)數(shù)據(jù)中心接口與網(wǎng)絡(luò)協(xié)議獲得了脫胎換骨般的變化。眾所周知,傳統(tǒng)SATA/SAS等接口協(xié)議均是在傳統(tǒng)機(jī)械硬盤時(shí)代的產(chǎn)物,無(wú)論是帶寬、延遲等等均無(wú)法與閃存介質(zhì)的高性相匹配。因此,NVMe協(xié)議近年來(lái)獲得迅速發(fā)展,NVMe大幅提升帶寬、可連接性和傳輸性,產(chǎn)業(yè)鏈上下游推動(dòng)NVMe成為數(shù)據(jù)中心主流協(xié)議,像NVMe Over Fabrics等存儲(chǔ)網(wǎng)絡(luò)也獲得飛速發(fā)展。
在軟件層面,企業(yè)級(jí)存儲(chǔ)廠商過(guò)去多年里一直致力于基于閃存的軟件架構(gòu)和堆棧功能的重塑,逐步實(shí)現(xiàn)了復(fù)制、重刪等功能在閃存環(huán)境下的重新設(shè)計(jì)與持續(xù)優(yōu)化;在生態(tài)層面,像操作系統(tǒng)、分布式數(shù)據(jù)庫(kù)等廠商也加大了對(duì)于閃存環(huán)境的匹配。
此外,為了最大限度的發(fā)揮閃存性能、容量和成本的優(yōu)勢(shì),有一部分企業(yè)級(jí)存儲(chǔ)廠商率先行動(dòng),近年來(lái)全力推動(dòng)閃存全棧化技術(shù)創(chuàng)新策略的落地。其中,浪潮信息就是典型代表。
為實(shí)現(xiàn)閃存極致性能的發(fā)揮,浪潮信息將核心能力深入到存儲(chǔ)部件級(jí),從SSD高速存儲(chǔ)介質(zhì)、存儲(chǔ)軟件到全閃系統(tǒng)進(jìn)行全鏈條的聯(lián)調(diào)優(yōu)化。這種閃存全?;膭?chuàng)新策略,讓閃存性能潛力發(fā)揮無(wú)死角,并真正帶來(lái)閃存成本的下降,實(shí)現(xiàn)性能與成本的最優(yōu)。例如,浪潮信息已經(jīng)構(gòu)建起基于閃存原生的iTurbo 智能加速引擎,加上盤控協(xié)同、ZNS數(shù)據(jù)分流等技術(shù)、ROW追加謝、全局垃圾數(shù)據(jù)回收算法等技術(shù),能夠?qū)崿F(xiàn)性能的持續(xù)提升以及每GB成本大幅下降。得益于閃存全棧創(chuàng)新策略,浪潮高端全閃HF18000、分布式存儲(chǔ)AS13000等多次在SPC-1性能測(cè)試中奪魁。
更加重要的是,用戶側(cè)對(duì)于生成式AI的快速普及,人工智能正在成為數(shù)據(jù)中心基礎(chǔ)設(shè)施發(fā)展未來(lái)最大的牽引力,隨著GPU等算力部署的深入,以全閃存、混閃為代表的存力重要性日漸上升,從數(shù)據(jù)容量、帶寬、訪問(wèn)頻率以及成本等多個(gè)因素綜合考量,未來(lái)數(shù)據(jù)中心在實(shí)踐中需要形成算力、閃存和混閃的1:1:1黃金比例,以滿足人工智能等需求。
生成式AI分為數(shù)據(jù)歸集、數(shù)據(jù)準(zhǔn)備、數(shù)據(jù)訓(xùn)練、數(shù)據(jù)推理和數(shù)據(jù)歸檔5個(gè)階段。從業(yè)務(wù)架構(gòu)來(lái)看,從一開(kāi)始的獲取原始數(shù)據(jù)到數(shù)據(jù)清洗、拼接、標(biāo)記,再到數(shù)據(jù)并行、在線推理部署到最后的數(shù)據(jù)遷移歸檔,都對(duì)數(shù)據(jù)存儲(chǔ)提出了不同的要求,例如小文件讀寫、大文件逐行寫順序?qū)?、大文件讀一次加載等。數(shù)據(jù)歸集和準(zhǔn)備階段更多地要求大容量、多協(xié)議共享,數(shù)據(jù)訓(xùn)練和推理階段更多是對(duì)百萬(wàn)級(jí)IOPS、100GB帶寬的要求,數(shù)據(jù)歸檔階段則需滿足冷數(shù)據(jù)的遷移、長(zhǎng)期保存和歸檔。根據(jù)需求不同,在生成式AI全階段科學(xué)合理地布局全閃、混閃存儲(chǔ)是關(guān)鍵。例如,從性能角度來(lái)看,英偉達(dá)官方建議,一臺(tái)GPU算力節(jié)點(diǎn)設(shè)備的最高要求寫帶寬要求20GBps,讀帶寬要求40GBps,而一個(gè)全閃存節(jié)點(diǎn)寫帶寬是20GBps,讀帶寬在20-50GBps,計(jì)算節(jié)點(diǎn)與全閃存節(jié)點(diǎn)的數(shù)量比例接近1:1;另外,從數(shù)據(jù)容量和訪問(wèn)頻率來(lái)看,一個(gè)模型系統(tǒng)中80%的數(shù)據(jù)會(huì)由熱變冷,還需要長(zhǎng)期保存訓(xùn)練過(guò)程中多個(gè)CheckPoint文件,契合熱數(shù)據(jù)與溫冷數(shù)據(jù)容量配置1:10的規(guī)律,而一個(gè)全閃存節(jié)點(diǎn)容量通常為50-100TB,一個(gè)混閃節(jié)點(diǎn)的容量通常為500-1000TB,按照1:1來(lái)配置全閃節(jié)點(diǎn)和混閃節(jié)點(diǎn),無(wú)疑從數(shù)據(jù)全生命周期維度保障了人工智能應(yīng)用各種階段的需求。
因此,像以浪潮信息為代表的全閃存廠商,今年開(kāi)始力推數(shù)據(jù)中心GPU算力、全閃存、混閃形成1:1:1黃金比例的建設(shè)模式,以數(shù)據(jù)中心用戶側(cè)需求變化為核心目標(biāo),加速推動(dòng)全閃存產(chǎn)品與技術(shù)在數(shù)據(jù)中心中的應(yīng)用,為未來(lái)的AIGC、大模型等人工智能應(yīng)用夯實(shí)基礎(chǔ)。
無(wú)疑,近年來(lái)產(chǎn)業(yè)界最大著力點(diǎn)就是從數(shù)據(jù)中心技術(shù)生態(tài)和需求生態(tài)出發(fā),從各種維度推動(dòng)全閃存在數(shù)據(jù)中心的普及,甚至在全閃存儲(chǔ)中優(yōu)先融入像機(jī)器學(xué)習(xí)、人工智能、云原生等先進(jìn)技術(shù),讓全閃存儲(chǔ)率先走向智能化管理與運(yùn)維,進(jìn)一步提升全閃存儲(chǔ)的易用性,從而加速全閃存時(shí)代的到來(lái)。
全閃存市場(chǎng)未來(lái)還得看中國(guó)
為什么全閃存市場(chǎng)未來(lái)還得看中國(guó)?
當(dāng)前,全球外部存儲(chǔ)市場(chǎng)近年來(lái)受到各種因素波及,出于較為穩(wěn)定的狀態(tài),非全閃存儲(chǔ)則出現(xiàn)了持續(xù)下滑,全靠全閃存來(lái)支撐整體市場(chǎng)的平穩(wěn)。IDC預(yù)測(cè)認(rèn)為,未來(lái)五年全閃存將以7.5%的年復(fù)合增長(zhǎng)率增長(zhǎng)??梢耘袛?,未來(lái)全閃存會(huì)繼續(xù)加速替代非全閃的步伐,營(yíng)收占比還將持續(xù)提升,而市場(chǎng)的核心焦點(diǎn)會(huì)在中國(guó)市場(chǎng)。
之所以會(huì)如此,首先是中國(guó)全閃存儲(chǔ)的市場(chǎng)潛力不可小覷。相關(guān)數(shù)據(jù)顯示,歐美成熟市場(chǎng)的全閃存比例已較高,替代非全閃的潛力空間逐漸變小,中國(guó)全閃存儲(chǔ)的市場(chǎng)占比當(dāng)前僅僅只有25%左右,,未來(lái)在金融、政府、電信、制造、交通、醫(yī)療、能源等行業(yè)有著廣泛的應(yīng)用前景。
事實(shí)上,隨著中國(guó)數(shù)字經(jīng)濟(jì)占比持續(xù)提升,產(chǎn)業(yè)數(shù)字化提速,數(shù)據(jù)存儲(chǔ)在未來(lái)依然有著巨大的需求。最新《中國(guó)數(shù)字經(jīng)濟(jì)發(fā)展報(bào)告(2023)》報(bào)告顯示,2022年中國(guó)數(shù)字經(jīng)濟(jì)規(guī)模達(dá)到50萬(wàn)億元占GDP比重達(dá)到41.5%,產(chǎn)業(yè)數(shù)字化占到數(shù)字經(jīng)濟(jì)的產(chǎn)業(yè)上升到81%,隨著數(shù)字經(jīng)濟(jì)與實(shí)體經(jīng)濟(jì)的進(jìn)一步融合,未來(lái)必然會(huì)加速全閃存儲(chǔ)在各個(gè)行業(yè)業(yè)務(wù)場(chǎng)景中的應(yīng)用。
其次,相比于其他競(jìng)爭(zhēng)對(duì)手,中國(guó)全閃存儲(chǔ)廠商已是當(dāng)前市場(chǎng)增長(zhǎng)的主力軍,浪潮信息等廠商在集中式全閃和分布式全閃燈多個(gè)細(xì)分市場(chǎng)增速明顯高于市場(chǎng)平均增速。以浪潮信息為例,Gartner數(shù)據(jù)顯示,在今年第一季度中,浪潮信息存儲(chǔ)全閃存出貨裝機(jī)容量以10.4%的全球市場(chǎng)份額,位列全球前三、中國(guó)第一;IDC數(shù)據(jù)則表明,浪潮信息第一季度銷售額和出貨量位居中國(guó)前二,出貨量同比大幅增長(zhǎng)310%,增長(zhǎng)速度領(lǐng)跑市場(chǎng)。
第三,中國(guó)規(guī)模龐大且復(fù)雜的業(yè)務(wù)場(chǎng)景更有利于全閃存產(chǎn)品的錘煉與成長(zhǎng),這兩年中國(guó)全閃存儲(chǔ)產(chǎn)品在各種權(quán)威測(cè)試中的優(yōu)異表現(xiàn)就是一種體現(xiàn)。例如,中國(guó)制造業(yè)正在加速升級(jí),在業(yè)務(wù)場(chǎng)景中開(kāi)始大量融入物聯(lián)網(wǎng)、機(jī)器視覺(jué)、AI等技術(shù),不僅產(chǎn)生大量的實(shí)時(shí)數(shù)據(jù),還需要進(jìn)行敏捷分析,全閃存的性能、容量等優(yōu)勢(shì)在場(chǎng)景中發(fā)揮著關(guān)鍵作用;在運(yùn)營(yíng)商領(lǐng)域,運(yùn)營(yíng)商正加速向云服務(wù)等業(yè)務(wù)轉(zhuǎn)型,需要一個(gè)高性能、大容量的全新基礎(chǔ)設(shè)施作為數(shù)字底座,這其中分布式全閃存起到重要的支撐作用;在自動(dòng)駕駛領(lǐng)域,每天需要產(chǎn)生海量數(shù)據(jù),并對(duì)海量數(shù)據(jù)進(jìn)行訓(xùn)練,全閃存支撐起自動(dòng)駕駛從數(shù)據(jù)處理到訓(xùn)練的多個(gè)環(huán)節(jié)……
正是中國(guó)市場(chǎng)這些領(lǐng)先場(chǎng)景的驅(qū)動(dòng),讓中國(guó)全閃存儲(chǔ)的產(chǎn)品與技術(shù)競(jìng)爭(zhēng)力得以持續(xù)提升。以浪潮信息高端全閃存儲(chǔ)HF18000為例,其已經(jīng)廣泛應(yīng)用打金融、運(yùn)營(yíng)商、車路協(xié)同、自動(dòng)駕駛等多個(gè)業(yè)務(wù)場(chǎng)景之中,為各種關(guān)鍵業(yè)務(wù)提供最為可靠的性能保障。
綜合觀察,全閃存儲(chǔ)的市場(chǎng)拐點(diǎn)的確已經(jīng)到來(lái),一個(gè)全閃存的時(shí)代離我們?cè)絹?lái)越近。在閃存成本不斷下降和閃存相關(guān)技術(shù)不斷取得突破的趨勢(shì)下,全閃存儲(chǔ)有望進(jìn)一步在更多業(yè)務(wù)場(chǎng)景中得到應(yīng)用。面向未來(lái),IDC預(yù)測(cè)中國(guó)企業(yè)級(jí)全閃存儲(chǔ)市場(chǎng)未來(lái)依然會(huì)保持著9%以上的增長(zhǎng),中國(guó)市場(chǎng)有望引領(lǐng)未來(lái)市場(chǎng)的增長(zhǎng);而以浪潮信息為代表的中國(guó)全閃存儲(chǔ)廠商憑借多年的技術(shù)積累與行業(yè)實(shí)踐,未來(lái)有望在全閃存儲(chǔ)這條賽道中書(shū)寫中國(guó)奇跡。