北京2024年9月24日 /美通社/ -- 在數(shù)字化浪潮的洶涌澎湃中,閃存技術(shù)與人工智能(AI)的融合發(fā)展正逐步成為推動社會進步與行業(yè)變革的關(guān)鍵力量。浪潮信息在以"芯存儲 AI未來"為主題的2024全球閃存峰會上,聚焦閃存技術(shù)與人工智能(AI)的融合發(fā)展。在主題演講與多個論壇中分享了在數(shù)據(jù)存儲技術(shù)和AI領(lǐng)域的最新進展和洞察。
AI與數(shù)據(jù)存儲的融合創(chuàng)新
數(shù)據(jù)在AI時代的重要性不言而喻,數(shù)據(jù)與AI深度融合以推動未來AI的發(fā)展。據(jù)IDC分析,智能制造、智慧醫(yī)療、AIGC等新興應(yīng)用的爆發(fā)式增長及數(shù)字經(jīng)濟高質(zhì)量發(fā)展的政策紅利,為分布式存儲市場帶來前所未有的發(fā)展機遇。
云存儲產(chǎn)品部總經(jīng)理劉希猛在主題演講中指出,2024年標(biāo)志著人工智能應(yīng)用的全面爆發(fā),尤其是大語言模型、視頻與圖像處理以及虛擬直播等領(lǐng)域的廣泛應(yīng)用,使得數(shù)據(jù)存儲基礎(chǔ)設(shè)施面臨前所未有的挑戰(zhàn)。
隨著數(shù)據(jù)的爆炸性增長,從數(shù)據(jù)采集、處理、訓(xùn)練、推理到歸檔的各個階段都需要存儲系統(tǒng)的有力支持。特別是大規(guī)模模型訓(xùn)練過程中產(chǎn)生的檢查點(Checkpoint)數(shù)據(jù),對存儲系統(tǒng)的帶寬和容量提出了極高的要求。
對此,浪潮信息打造基于NVMe SSD搭載新一代數(shù)據(jù)加速引擎DataTurbo的分布式全閃存儲AS13000G7-N系列,通過盤控協(xié)同、GPU直訪存儲、全局一致性緩存等技術(shù),能提供TB級帶寬、千萬級IOPS、EB級容量,在AIGC數(shù)據(jù)歸集、訓(xùn)練、數(shù)據(jù)歸檔與管理等階段提供文件、對象、大數(shù)據(jù)多協(xié)議融合互通能力、多元異構(gòu)集群納管能力,實現(xiàn)一份數(shù)據(jù)免遷移,數(shù)據(jù)準(zhǔn)備時間節(jié)省40%。
同時,打造了基于AS13000G7的AIGC存儲解決方案,通過與上層EPAI/AIStation進行深度定制,調(diào)度平臺加持下,使數(shù)據(jù)橫向流動更為高效,提升存儲效率;縱向加速數(shù)據(jù)訪問,加快訓(xùn)練速度,從容應(yīng)對大模型應(yīng)用對存儲性能、容量以及數(shù)據(jù)管理等方面的苛刻要求。
解鎖AIGC數(shù)據(jù)價值
在AIGC存儲技術(shù)論壇上,浪潮信息存儲產(chǎn)品部方案總監(jiān)楊智峰博士帶來了題為"釋放AIGC數(shù)據(jù)潛能 浪潮信息分布式存儲技術(shù)創(chuàng)新與實踐"的演講。
AIGC環(huán)境下對存儲提出很多需求,特別是數(shù)據(jù)全生命周期管理能力和極致性能,包括Checkpoint帶寬和訓(xùn)練過程中的極致I/O性能。
楊智峰強調(diào),Scaling Law作為衡量模型效能的核心要素,其重要性在AI領(lǐng)域依然不可撼動,并引領(lǐng)著AI模型從單一模態(tài)向多元模態(tài)的深刻轉(zhuǎn)型。這一轉(zhuǎn)型趨勢為數(shù)據(jù)存儲領(lǐng)域開辟了前所未有的新機遇,具體體現(xiàn)在存儲介質(zhì)的全面閃存化、網(wǎng)絡(luò)架構(gòu)的歸一化整合、內(nèi)存資源的全局化調(diào)度,以及算力資源的多樣化配置等方面。
浪潮信息在存儲協(xié)議層面實施了一系列創(chuàng)新舉措,顯著提升了系統(tǒng)的兼容性與靈活性。這些創(chuàng)新包括但不限于文件、對象及大數(shù)據(jù)存儲協(xié)議之間的無縫融合與高效互通,以及通過富元數(shù)據(jù)集中管理策略,進一步優(yōu)化了數(shù)據(jù)存儲的檢索效率與管理便捷性。針對模型訓(xùn)練過程中對數(shù)據(jù)存取速度、并發(fā)處理能力的嚴(yán)苛要求,研發(fā)了多項前沿存儲技術(shù),如實現(xiàn)秒級檢查點數(shù)據(jù)快速寫入的能力,以及支持高達千萬級IOPS的高性能存儲系統(tǒng),為AI模型的快速迭代與高效訓(xùn)練提供了堅實的支撐。
高端全閃存儲:安全與高效的引領(lǐng)者
隨著信息化躍居業(yè)務(wù)前沿,對存儲系統(tǒng)提出嚴(yán)苛要求:確保核心業(yè)務(wù)實時穩(wěn)定,數(shù)據(jù)永不丟失,并追求綠色高效。全閃存憑其卓越性能與節(jié)能特性,成為市場新寵,不僅提升效率、節(jié)省空間,更將能耗較機械硬盤銳減70%。在數(shù)字經(jīng)濟浪潮中,企業(yè)紛紛擁抱全閃存儲,以綠色數(shù)據(jù)中心響應(yīng)"碳達峰、碳中和"號召,平衡發(fā)展與環(huán)保,共創(chuàng)可持續(xù)未來。
在高端存儲與分布式全閃存論壇中,浪潮信息存儲產(chǎn)品部營銷總監(jiān)王旭東詳細闡述了高端存儲在核心業(yè)務(wù)場景下的重要性,特別是在實時交易、生產(chǎn)制造等關(guān)鍵性場景中。
為了滿足客戶對存儲系統(tǒng)的高要求,浪潮信息推出了具備安全可靠、綠色高效的高端全閃存儲HF18000系列。該系列產(chǎn)品采用Full-Mesh全互聯(lián)架構(gòu),提高了系統(tǒng)的穩(wěn)定性和可靠性,同時通過A-A架構(gòu)模式降低了CPU利用率和IO延遲,提升了業(yè)務(wù)性能。
通過優(yōu)化CPU訪問帶寬、核心分配算法等方式,顯著提高了存儲系統(tǒng)的性能。在系統(tǒng)層面,使用了最新的iTurbo 2.0全閃引擎,使得CPU資源分配更加合理。此外,還構(gòu)建了一套完善的NOF網(wǎng)絡(luò),減少了丟包和延遲,支持更多的連接,從而進一步提升了存儲性能。
目前,浪潮信息已在六大行、TOP3保險證券公司、石油石化、C9高校、TOP10醫(yī)院等行業(yè)大客戶中廣泛部署存儲平臺,支撐企業(yè)的核心數(shù)據(jù)庫、生成式AI、云平臺、大數(shù)據(jù)等場景應(yīng)用。未來,浪潮信息將會把握市場變化和用戶需求,持續(xù)加大技術(shù)創(chuàng)新與投入,助力千行百業(yè)構(gòu)建安全、可靠、經(jīng)濟、高效的數(shù)據(jù)存儲底座,加速數(shù)字化轉(zhuǎn)型和創(chuàng)新。