北京2024年11月1日 /美通社/ -- 如果說2023年是全球認識生成式AI（GenAI）的開始，那么2024年則是全球各大組織/企業(yè)真正探索人工智能商業(yè)價值的一年。
隨著越來越多用戶開始采用生成式AI等人工智能技術(shù)，存儲等數(shù)據(jù)基礎(chǔ)設(shè)施也面臨著嚴峻考驗，用戶意識到存儲需要滿足人工智能數(shù)據(jù)訓(xùn)練與推理對于性能、延時、容量、擴展性等各種嚴苛需求。
近日，在最新發(fā)布的MLPerf AI存儲基準評測中，浪潮信息分布式存儲平臺AS13000G7通過一系列創(chuàng)新技術(shù)，顯著提升數(shù)據(jù)處理效率，勇奪8項測試中5項性能最佳成績，實現(xiàn)集群帶寬360GB/s、單節(jié)點帶寬達120GB/s，在滿足AI場景下的高性能存儲需求方面展現(xiàn)出卓越能力，為大規(guī)模數(shù)據(jù)處理和AI應(yīng)用提供堅實基礎(chǔ)。
不僅是"容器"，還是"加速器"
在傳統(tǒng)觀念里，存儲等數(shù)據(jù)基礎(chǔ)設(shè)施就像一個存儲數(shù)據(jù)的"容器"；進入到AI時代，在各種AI應(yīng)用場景中，存儲則搖身一變，成為推動AI應(yīng)用和推動AI產(chǎn)業(yè)化的"加速器"。
以此次MLPerf測試為例，通過運行一個分布式AI訓(xùn)練測試程序，模擬GPU計算過程，要求在GPU利用率高達90%或70%的條件下，以存儲帶寬和支持的模擬 GPU （模擬加速器）數(shù)量為關(guān)鍵性能指標，來評估AI訓(xùn)練場景下存儲的性能表現(xiàn)，從而驗證存儲對GPU算力的加速能力。
如果把計算節(jié)點比作"數(shù)據(jù)工廠"，存儲介質(zhì)則相當(dāng)于數(shù)據(jù)倉庫。提升存儲性能，意味著用戶能夠在同一時間內(nèi)通過"存儲高速"在"數(shù)據(jù)工廠"和"數(shù)據(jù)倉庫"之間更高效地存取"數(shù)據(jù)物料"。
例如，人工智能的大模型訓(xùn)練數(shù)據(jù)加載、PB級檢查點斷點續(xù)訓(xùn)（其中，檢查點相關(guān)開銷平均可占訓(xùn)練總時間的12%，甚至高達43%）和高并發(fā)推理問答等場景下，存儲系統(tǒng)的性能直接關(guān)乎整個訓(xùn)練與推理過程中GPU的有效利用率。尤其是在萬卡集群規(guī)模下，相當(dāng)于規(guī)模龐大"數(shù)據(jù)工廠"，"生產(chǎn)機器"GPU一旦開動，如果沒有及時輸送"數(shù)據(jù)物料"，約等于讓GPU閑置。有數(shù)據(jù)顯示，存儲系統(tǒng)1小時的開銷，在千卡集群中就意味著將浪費1000卡時，造成計算資源的損失和業(yè)務(wù)成本劇增。
那么，要實現(xiàn)"數(shù)據(jù)物料"的快速高效運輸，可以從存儲哪些方向入手？
其一，減少中轉(zhuǎn)站--數(shù)控分離。通過軟件層面的創(chuàng)新，將控制面（數(shù)據(jù)工廠）和數(shù)據(jù)面（介質(zhì)倉庫）分離，減少數(shù)據(jù)中轉(zhuǎn)，縮短傳輸路徑，提升存儲單節(jié)點及集群的整體性能。
其二，增加車道數(shù)--硬件升級。硬件層面采用新一代的高性能硬件，通過DDR5和PCIe5.0等，升級存儲帶寬，增加傳輸通道數(shù)量，提升存儲性能的上限。
其三，物料就近存儲--軟硬協(xié)同。在軟硬協(xié)同層面，基于數(shù)控分離架構(gòu)，自主控制數(shù)據(jù)頁緩存（儲備倉）分配策略，靈活調(diào)度內(nèi)核數(shù)據(jù)移動，數(shù)據(jù)就近獲取，從而實現(xiàn)快速I/O。
接下來，我們將一一介紹這三大性能提升手段背后的實現(xiàn)原理及其主要價值。
軟件優(yōu)化
數(shù)控分離，降低80%節(jié)點間數(shù)據(jù)轉(zhuǎn)發(fā)量
在傳統(tǒng)分布式文件系統(tǒng)中，數(shù)據(jù)和元數(shù)據(jù)高度耦合，導(dǎo)致數(shù)據(jù)讀寫信息的分發(fā)、傳輸和元數(shù)據(jù)處理都需要經(jīng)過主存儲節(jié)點。在AI應(yīng)用場景下，隨著客戶端數(shù)量激增和帶寬需求擴大，CPU、內(nèi)存、硬盤和網(wǎng)絡(luò)I/O的處理能力面臨嚴峻考驗。盡管數(shù)控一體的分布式文件系統(tǒng)在穩(wěn)定性方面表現(xiàn)優(yōu)異，但在面對AI訓(xùn)練等大I/O、高帶寬需求時，其性能瓶頸逐漸顯現(xiàn)。數(shù)據(jù)需通過主節(jié)點在集群內(nèi)部進行轉(zhuǎn)發(fā)，這不僅占用了大量的CPU、內(nèi)存、帶寬和網(wǎng)絡(luò)資源，還導(dǎo)致了數(shù)據(jù)傳輸?shù)难舆t。
為解決該問題，業(yè)界曾嘗試通過RDMA技術(shù)來提升存儲帶寬。RDMA允許外部設(shè)備繞過CPU和操作系統(tǒng)直接訪問內(nèi)存，從而降低了數(shù)據(jù)傳輸延遲并減輕了CPU負載，進而提升了網(wǎng)絡(luò)通信效率。然而，這種方式并未從根本上解決數(shù)據(jù)中轉(zhuǎn)帶來的延遲問題。
基于此背景，浪潮信息創(chuàng)新自研分布式軟件棧，采用全新數(shù)控分離架構(gòu)，將文件系統(tǒng)的數(shù)據(jù)面和控制面完全解耦?？刂泼嬷饕撠?zé)管理數(shù)據(jù)的屬性信息，如位置、大小等，通過優(yōu)化邏輯控制和數(shù)據(jù)管理算法來提高存儲系統(tǒng)的訪問效率和數(shù)據(jù)一致性。而數(shù)據(jù)面則直接負責(zé)數(shù)據(jù)的讀寫操作，消除中間環(huán)節(jié)的數(shù)據(jù)處理延遲，從而縮短"數(shù)據(jù)物料"的存取時間。
這種數(shù)控分離的方式顯著減少數(shù)據(jù)流在節(jié)點間的轉(zhuǎn)發(fā)次數(shù)，降低80%的東西向（節(jié)點間）數(shù)據(jù)轉(zhuǎn)發(fā)量，充分發(fā)揮硬盤帶寬，特別是全閃存儲性能。以浪潮信息分布式存儲平臺AS13000G7為例，在相同配置下，相比于單一TCP和單一RDMA方案，數(shù)控分離架構(gòu)能夠帶來60%讀帶寬提升和110%寫帶寬提升。
硬件升級
拓寬傳輸通路，實現(xiàn)存儲性能翻倍
在AI應(yīng)用場景下，"數(shù)據(jù)物料"的快速運輸依賴于高效的"存儲高速"通道。隨著CPU、內(nèi)存、硬盤等硬件技術(shù)的不斷創(chuàng)新，升級"存儲高速"通道的硬件成為提升存儲性能的重要途徑。
浪潮信息分布式存儲平臺AS13000G7采用業(yè)界最新高端處理器芯片，如Intel第五代至強可拓展處理器，單顆最大支持60核，支持Intel 最新2.0版本睿頻加速技術(shù)、超線程技術(shù)以及高級矢量拓展指令集512（AVX-512)。同時，支持DDR5內(nèi)存，如三星、海力士的32G、64G高性能、大容量內(nèi)存，單根內(nèi)存在1DPC1情況下，可以支持5600MHz頻率，相比與DDR4的3200MHz的內(nèi)存，性能提升75%。
基于最新處理器的硬件平臺，AS13000G7已經(jīng)支持PCIe5.0標準，并在此基礎(chǔ)上支持NVDIA最新的CX7系列400G IB卡及浪潮信息自研PCIe5.0 NVMe。相較于上一代AS13000G6的PCIe4.0的I/O帶寬，實現(xiàn)帶寬提升100%。
在設(shè)計上，G7一代硬件平臺將硬件模塊化設(shè)計理念最大化，將處理器的I/O全部扇出，采用線纜、轉(zhuǎn)接卡等標準設(shè)計，實現(xiàn)配置的靈活性。最大可支持4張PCIe5.0 X16的FHHL卡，所有后端的SSD設(shè)備均通過直連實現(xiàn)，取消了AS13000G6 的PCIe Switch設(shè)計，從而消除了數(shù)據(jù)鏈路上的瓶頸點。前端IO的性能及后端IO的理論性能均提升了4倍。
為測試性能表現(xiàn)，浪潮信息將兩種軟件棧分別部署在兩代硬件上并進行讀寫測試。結(jié)果顯示，與上一代硬件平臺相比，在不同軟件棧上AS13000G7的性能可提升170%-220%，有效保障了AI應(yīng)用場景下的存儲性能。
軟硬協(xié)同
內(nèi)核親和力調(diào)度，內(nèi)存訪問效率提升4倍
在當(dāng)前的AI基礎(chǔ)設(shè)施平臺中，計算服務(wù)器配置非常高，更高性能的CPU和更多的插槽數(shù)帶來了NUMA（Non-Uniform Memory Access）節(jié)點數(shù)據(jù)的增加。在NUMA架構(gòu)中，系統(tǒng)內(nèi)存被劃分為多個區(qū)域，每個區(qū)域?qū)儆谝粔K特定的NUMA節(jié)點，每個節(jié)點都有自己的本地內(nèi)存。因此，每個處理器訪問本地內(nèi)存的速度遠快于訪問其他節(jié)點內(nèi)存的速度。
然而，在多核處理器環(huán)境下，會產(chǎn)生大量的跨NUMA遠端訪問。在分布式存儲系統(tǒng)中，由于IO請求會經(jīng)過用戶態(tài)、內(nèi)核態(tài)和遠端存儲集群，中間頻繁的上下文切換會帶來內(nèi)存訪問延遲。如下圖，在未經(jīng)過NUMA均衡的存儲系統(tǒng)中，存儲的緩存空間集中在單個NUMA節(jié)點內(nèi)存內(nèi)。當(dāng)IO請求量增大時，所有其他NUMA節(jié)點的CPU核的數(shù)據(jù)訪問均集中在單個Socket內(nèi)，造成了大量跨Socket 、跨NUMA訪問。這不僅導(dǎo)致了CPU核的超負荷運載和大量閑置，還使得不同Socket上的內(nèi)存帶寬嚴重不均衡，單次遠端NUMA節(jié)點訪問造成的微小時延累積將進一步增大整體時延，導(dǎo)致存儲系統(tǒng)聚合帶寬嚴重下降。
為了降低跨NUMA訪問帶來的時延，浪潮信息通過內(nèi)核親和力調(diào)度技術(shù)，在全新數(shù)控分離架構(gòu)下，使內(nèi)核客戶端可自主控制數(shù)據(jù)頁緩存分配策略并主動接管用戶下發(fā)的IO任務(wù)。這種方式能夠更加靈活地實現(xiàn)各類客戶端內(nèi)核態(tài)到遠端存儲池的數(shù)據(jù)移動策略。其中，針對不同的IO線程進行NUMA感知優(yōu)化，將業(yè)務(wù)讀線程與數(shù)據(jù)自動分配到相同的NUMA節(jié)點上，這樣，所有數(shù)據(jù)均在本地NUMA內(nèi)存命中，有效減少了高并發(fā)下NUMA節(jié)點間數(shù)據(jù)傳輸，降低了IO鏈路時延，4倍提升內(nèi)存訪問效率，保證負載均衡。
總體而言，進入到AI時代，存儲性能關(guān)系到整個人工智能訓(xùn)練、推理和應(yīng)用的效率。浪潮信息分布式存儲平臺AS13000G7軟件優(yōu)化、硬件升級和軟硬協(xié)同三個優(yōu)勢，具備極致性能，成為AI時代各大用戶的存儲理想之選。
