基于第四代英特爾?至強(qiáng)?可擴(kuò)展處理器的浪潮云海超融合壓縮和糾刪功能設(shè)計(jì)

北京2023年11月17日 /美通社/ -- 浪潮云海InCloud Rail超融合一體機(jī)通過(guò)軟件定義計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)技術(shù)實(shí)現(xiàn)服務(wù)器的資源池化，為整個(gè)IT環(huán)境提供更高的可用性、安全性和擴(kuò)展性，能夠滿足企業(yè)對(duì)于降低成本、簡(jiǎn)化管理、提高安全性和擴(kuò)展性的需求，助力企業(yè)遷移核心業(yè)務(wù)上云，構(gòu)建企業(yè)云數(shù)據(jù)中心。

面向海量的數(shù)據(jù)處理需求，浪潮云海超融合一體機(jī)提出一種融合壓縮和糾刪功能于一體的數(shù)據(jù)存儲(chǔ)空間優(yōu)化方案，該方案基于英特爾^®至強(qiáng)^®可擴(kuò)展處理器提供的QAT加速器實(shí)現(xiàn)壓縮功能，同時(shí)使用英特爾^®智能加速庫(kù)實(shí)現(xiàn)糾刪功能，可同時(shí)支持?jǐn)?shù)據(jù)壓縮和糾刪。在超融合一體機(jī)的海量應(yīng)用歸檔數(shù)據(jù)場(chǎng)景，它需要在應(yīng)用運(yùn)行質(zhì)量較少受影響的前提下，盡可能提升數(shù)據(jù)存儲(chǔ)效率。在控制成本的前提下，開(kāi)啟同時(shí)支持壓縮和糾刪特性，對(duì)于數(shù)據(jù)庫(kù)應(yīng)用節(jié)省存儲(chǔ)空間最高可達(dá)70.5%，且對(duì)性能的影響較低，能夠助力用戶提升數(shù)據(jù)庫(kù)系統(tǒng)的投資收益、釋放數(shù)據(jù)價(jià)值。

浪潮云海超融合一體機(jī)分布式存儲(chǔ)InCloud dSAN

InCloud dSAN是浪潮云海超融合一體機(jī)中新一代的軟件定義存儲(chǔ)產(chǎn)品，面向用戶在私有云、大數(shù)據(jù)、高性能應(yīng)用、云原生、云邊協(xié)同等多元化的應(yīng)用場(chǎng)景。隨著Intel 新一代CPU、NVMe硬盤(pán)、RDMA智能網(wǎng)卡等高性能物理硬件普及，InCloud dSAN在系統(tǒng)設(shè)計(jì)方面根據(jù)新一代物理硬件特點(diǎn)設(shè)計(jì)多種特色功能：

• 全異步和無(wú)鎖化的編程技術(shù)，發(fā)揮CPU多核性能，：基于SPDK (Storage Performance Development Kit)高性能存儲(chǔ)開(kāi)發(fā)套件，引入Reactor、Thread、Poller三層邏輯抽象，設(shè)計(jì)輪詢、異步化、無(wú)鎖的軟件框架，從網(wǎng)絡(luò)、磁盤(pán)、管理等模塊發(fā)揮CPU多核能力。
• 多種鏈路傳輸技術(shù)，支持多種組網(wǎng)形態(tài)：設(shè)計(jì)全棧RDMA功能，從虛擬機(jī)、存儲(chǔ)協(xié)議層、副本數(shù)據(jù)轉(zhuǎn)發(fā)層等內(nèi)部網(wǎng)絡(luò)傳輸方面，支持全棧的用戶態(tài)RDMA鏈路傳輸，利用RDMA零拷貝特性降低時(shí)延。
• 全新的存儲(chǔ)引擎設(shè)計(jì)，發(fā)揮NVMe極致性能：設(shè)計(jì)基于裸盤(pán)讀寫(xiě)的全新引擎，設(shè)計(jì)元數(shù)據(jù)、日志、數(shù)據(jù)等邏輯空間，實(shí)現(xiàn)元數(shù)據(jù)管理、數(shù)據(jù)分配和I/O調(diào)度等邏輯。特別是針對(duì)NVMe硬盤(pán)，基于SPDK存儲(chǔ)開(kāi)發(fā)套件中的用戶態(tài)NVMe庫(kù)實(shí)現(xiàn)特有的NVMe存儲(chǔ)引擎。

浪潮云海超融合在新一代G7硬件平臺(tái)的壓縮和糾刪功能設(shè)計(jì)

在超融合的應(yīng)用場(chǎng)景中，針對(duì)金融、醫(yī)療等行業(yè)的數(shù)據(jù)庫(kù)應(yīng)用不僅對(duì)實(shí)時(shí)讀寫(xiě)、隨機(jī)I/O訪問(wèn)和大規(guī)模數(shù)據(jù)集等場(chǎng)景對(duì)存儲(chǔ)性能有極高要求，同時(shí)對(duì)于歸檔數(shù)據(jù)的存儲(chǔ)空間也提出了新的需求，如醫(yī)療行業(yè)常見(jiàn)的PACS（Picture Archiving and Communication System）影像歸檔和通信系統(tǒng)，將日常產(chǎn)生的醫(yī)學(xué)影像（包括核磁、CT、超聲等圖像）通過(guò)數(shù)字化方式海量存儲(chǔ)，同時(shí)在需要時(shí)可快速調(diào)回查看，對(duì)存儲(chǔ)系統(tǒng)歸檔和性能有較高的要求。為了應(yīng)對(duì)此場(chǎng)景，浪潮云海新一代超融合一體機(jī)的InCloud dSAN設(shè)計(jì)了新型的數(shù)據(jù)壓縮和糾刪功能，該功能集成英特爾^®QAT加速器和ISA-L加速庫(kù)，在原有的高性能設(shè)計(jì)方案基礎(chǔ)上滿足了極致性能和極致數(shù)據(jù)壓縮兩種需求。

壓縮和糾刪方案主要思想：將壓縮和糾刪計(jì)算放置于緩存下刷階段，可以避免在I/O訪問(wèn)過(guò)程中的壓縮和糾刪計(jì)算的性能損耗。通過(guò)智能的緩存管理，保障了熱點(diǎn)數(shù)據(jù)的I/O訪問(wèn)集中在緩存層，避免在數(shù)據(jù)訪問(wèn)過(guò)程中的透寫(xiě)。

• 數(shù)據(jù)分層管理：將數(shù)據(jù)存儲(chǔ)劃分為緩存層和數(shù)據(jù)層，其中緩存層使用高性的NVMe和Sata SSD存儲(chǔ)，同時(shí)在緩存層使用多副本的設(shè)計(jì)，提供高性能數(shù)據(jù)存儲(chǔ)能力。數(shù)據(jù)層提供冷數(shù)據(jù)存儲(chǔ)，主要由HDD硬盤(pán)存儲(chǔ)，提供高容量存儲(chǔ)空間。
• 智能緩存管理：設(shè)計(jì)冷熱分層的智能緩存管理，高效識(shí)別熱點(diǎn)數(shù)據(jù)和冷數(shù)據(jù)。可支持針對(duì)特定的數(shù)據(jù)設(shè)置優(yōu)先級(jí)，保證需要支持壓縮和糾刪的數(shù)據(jù)區(qū)域可優(yōu)先保存于緩存空間中。
• 數(shù)據(jù)空間高效存儲(chǔ)：在緩存層中由于副本存儲(chǔ)，將上層應(yīng)用的小塊IO聚合，當(dāng)數(shù)據(jù)變成冷數(shù)據(jù)下刷至存儲(chǔ)層時(shí)，由于下刷采用數(shù)據(jù)對(duì)齊，可聚合成大塊的順序條帶讀寫(xiě)，可以在數(shù)據(jù)層進(jìn)行高效的數(shù)據(jù)存儲(chǔ)。
• 壓縮和EC加速計(jì)算：在緩存層數(shù)據(jù)下刷時(shí)，首先經(jīng)過(guò)QAT壓縮處理，經(jīng)過(guò)壓縮的數(shù)據(jù)調(diào)用EC計(jì)算，將糾刪和壓縮數(shù)據(jù)存放到數(shù)據(jù)存儲(chǔ)層。

為了驗(yàn)證該方案的性能，測(cè)試數(shù)據(jù)采用在金融和醫(yī)療等行業(yè)常見(jiàn)的基礎(chǔ)Linux虛擬機(jī)鏡像、Windows系統(tǒng)的SQLServer數(shù)據(jù)庫(kù)，及Linux系統(tǒng)的Oracle數(shù)據(jù)庫(kù)應(yīng)用。調(diào)整QAT壓縮的等級(jí)及ISA-L的EC糾刪K/M模型，測(cè)試在不同的模型壓縮、糾刪及壓縮和糾刪后的節(jié)省空間，從測(cè)試結(jié)果分析，同時(shí)開(kāi)啟QAT和EC糾刪最大空間可以節(jié)省比例達(dá)70.5%。

收益

充分發(fā)揮第四代英特爾^®至強(qiáng)^®可擴(kuò)展處理器內(nèi)置的英特爾^®QAT加速器能力，QAT加速器對(duì)于數(shù)據(jù)庫(kù)應(yīng)用節(jié)省數(shù)據(jù)空間為58.4%，EC糾刪根據(jù)不同的K/M模型可計(jì)算節(jié)省空間比例，在指定特定K/M模型壓縮和糾刪功能可節(jié)省70.5%。

總結(jié)

浪潮云海InCloud Rail新一代超融合一體機(jī)，依托于英特爾^®QAT和ISA-L軟件加速庫(kù)技術(shù)，設(shè)計(jì)可同時(shí)支持壓縮、糾刪、"壓縮和糾刪"等不同的空間節(jié)省方案，采用獨(dú)特的數(shù)據(jù)分層、智能緩存管理、軟件硬協(xié)同等設(shè)計(jì)，完美解決了兼顧高性能、高數(shù)據(jù)冗余度和高存儲(chǔ)空間利用率等技術(shù)難題。