北京2020年12月3日 /美通社/ -- 在亞馬遜云服務(AWS)舉辦的年度盛會 -- AWS re:Invent上,AWS宣布推出四項存儲創(chuàng)新,為客戶帶來了更多的存儲性能、彈性和價值,包括:
EBS io2 Block Express 存儲卷提供了首個為在SAN上運行的工作負載而構建的云存儲服務
因為io2存儲卷(最新一代預置IOPS存儲卷)能提供99.999%(5個9)的耐用性和比通用EBS存儲卷 高4倍的IOPS,客戶往往選擇它來運行關鍵的、性能密集型應用程序,例如SAP HANA,Microsoft SQL Server,IBM DB2,MySQL,PostgresSQL和Oracle數(shù)據(jù)庫。某些應用程序需要單個io2存儲卷所無法提供的更高的IOPS、吞吐量或容量,為了滿足其所需的性能,客戶通常將多個io2 存儲卷進行條帶化組合。在工作負載性能要求更高的情況下,客戶不得不將更多的io2存儲卷進行條帶化組合,由此帶來了更大的部署及管理復雜度和成本增加。許多客戶歷來使用本地部署的SAN架構(使用本地部署的存儲資源)來滿足高性能工作負載的需求。但是這些SAN缺點眾多,高昂的前期購置成本導致它們價格昂貴,需要復雜的預測才能確保有足夠的容量,這繁雜且難以管理,并且消耗了寶貴的數(shù)據(jù)中心空間和網(wǎng)絡容量。當客戶超出SAN的現(xiàn)有容量時,他們必須另外購買一套完整的SAN或進行復雜的擴容,這種方式價格昂貴且迫使客戶為未使用的容量付費。客戶告訴我們,他們一直希望在云中擁有SAN的功能和性能 -- 現(xiàn)在終于能夠實現(xiàn)了。
EBS Block Express是一種全新的存儲架構,為客戶提供了首個為在SAN上運行的工作負載而構建的云存儲服務。 EBS Block Express專為需要高IOPS、高吞吐量、高耐用性、高存儲容量和低延遲的Oracle,SAP HANA,Microsoft SQL Server和SAS Analytics等大型、I/O密集型任務關鍵型部署而設計。通過在Block Express上運行io2存儲卷,單個io2存儲卷可以配置高達256,000 IOPS, 4,000 MB /秒的吞吐量,并提供64 TB的單卷容量 -- 這在所有參數(shù)上都比現(xiàn)有io2存儲卷提高4倍。此外,io2 Block Express存儲卷可以為客戶的延遲敏感型應用提供一致的亞毫秒級延遲。客戶還可以將多個io2 Block Express 存儲卷條帶化在一起,以獲得比單個存儲卷更好的性能。 Block Express通過完全重構的基礎EBS硬件、軟件和網(wǎng)絡堆棧,幫助io2存儲卷實現(xiàn)此性能提升。通過在硬件層將計算與存儲解耦,并重新編寫代碼,EBS Block Express可以達到新的性能水平,并縮短創(chuàng)新的時間。通過重寫網(wǎng)絡堆棧以利用高性能Scalable Reliable Datagrams(SRD)網(wǎng)絡協(xié)議,Block Express大大減少了延遲。這些改進適用于非預付費客戶使用io2 Block Express存儲卷,并且客戶可以在無需預付費的情況下配置和擴展容量。
在接下來的幾個月里,Block Express 存儲卷將添加其它SAN功能,包括支持I/O fencing的多重掛載,使客戶能夠同時將多個實例安全地連接到單個存儲卷,快速快照還原,支持彈性卷以動態(tài)擴展EBS存儲 卷容量、更改卷類型和性能。 要了解更多有關io2 Block Express存儲卷的信息,請訪問:https://aws.amazon.com/ebs
EBS Gp3 存儲卷使IOPS與存儲容量脫鉤,提供了更高的性能,且價格比上一代存儲卷降低20%
客戶使用EBS 存儲卷來支持廣泛的工作負載,例如關系和非關系數(shù)據(jù)庫(比如Microsoft SQL Server和Oracle)、企業(yè)應用程序、容器化應用程序、大數(shù)據(jù)分析引擎、分布式文件系統(tǒng)、虛擬桌面、開發(fā)/測試環(huán)境和媒體工作流程。 Gp2存儲卷使客戶能夠輕松、經(jīng)濟高效地滿足其中許多工作負載的IOPS和吞吐量要求,但是單個Gp2 存儲卷無法提供某些應用程序需要的更高IOPS。因為Gp2存儲 卷的性能會隨著存儲容量的增長而擴展,因此客戶可以通過配置更大的存儲卷來為其應用程序獲得更高的IOPS和吞吐量。然而,某些應用程序需要更高的性能,而不需要更高的存儲容量(例如MySQL和Cassandra之類的數(shù)據(jù)庫)。這些客戶最終可能會為獲得所需的IOPS性能,而承擔超出其所需存儲空間的費用。運行這些工作負載的客戶希望滿足其性能需求,而不必調配更大的存儲量并為此付費。
下一代Gp3存儲卷使客戶能夠獨立于存儲容量來配置IOPS和吞吐量。對于需要更高性能的工作負載,客戶可以修改Gp3存儲卷以提供所需的IOPS和吞吐量,而不必增加更多的存儲容量。 Gp3存儲卷可提供3,000 IOPS和125 MB /秒的持續(xù)基準性能,并能夠提供至多16,000 IOPS和1,000 MB /秒的峰值吞吐量(比Gp2增加4倍)。除了通過允許客戶獨立于存儲以擴展IOPS來節(jié)省資金外,Gp3 volume每GB的價格比現(xiàn)有Gp2降低20%??蛻艨梢允褂肊lastic Volumes輕松地將Gp2存儲卷遷移到Gp3存儲卷,Elastic Volumes是EBS現(xiàn)有的一種功能,允許客戶修改其現(xiàn)有EBS存儲卷的卷類型、IOPS、存儲容量和吞吐量,而無需中斷其Amazon Elastic Compute Cloud(EC2)實例??蛻暨€可以使用AWS管理控制臺,AWS命令行界面(CLI)或AWS開發(fā)工具包輕松創(chuàng)建新的Gp3存儲卷并擴展性能。要開始使用Gp3存儲卷,請訪問:https://aws.amazon.com/ebs/
Amazon S3 智能分層擴展支持S3 Glacier歸檔型和深度歸檔型,客戶使用對象存儲的成本可降低多至95%
S3 智能分層可針對訪問模式未知或不斷變化的數(shù)據(jù),自動優(yōu)化存儲成本。對于存儲中對象不斷變化的訪問模式,它是首個也是唯一一個自動優(yōu)化成本的云存儲解決方案。 S3智能分層已被那些擁有不同存儲訪問模式(如數(shù)據(jù)湖)或未知存儲訪問模式(如新推出的應用程序)的客戶所廣泛采用。之前,S3智能分層對存儲收費分為兩個定價層:標準存儲層用于頻繁訪問(如實時數(shù)據(jù)查詢),成本優(yōu)化層用于非經(jīng)常訪問(如批量查詢)。然而,許多AWS客戶為了降低冷數(shù)據(jù)的存儲成本,已經(jīng)使用了S3 Glacier或S3 Glacier深度歸檔。在今天之前,客戶需要手動構建自己的應用程序,以監(jiān)控和記錄針對單個對象的訪問,從而確定哪些對象很少被訪問且需要轉移到歸檔存儲之中。然后,他們需要手動移動這些對象。
Amazon S3智能分層擴展支持S3 Glacier歸檔型和深度歸檔型,進一步增強了云中首個也是唯一能提供動態(tài)成本優(yōu)化的存儲類別?,F(xiàn)在,S3智能分層可以在四個不同的訪問層(頻繁、不頻繁、歸檔和深度歸檔)上進行自動分層和成本優(yōu)化。通過使用S3智能分層,長期不訪問的數(shù)據(jù)會在180天或更長時間內自動地從頻繁訪問層轉移到深度歸檔層,客戶可以節(jié)省高達95%的存儲成本。一旦客戶激活了其中一個或兩個歸檔訪問層,S3智能分層將自動將90天未訪問的對象轉移到歸檔訪問層,并在180天后將其轉移到深度歸檔訪問層。 S3智能分層可借助S3 Inventory來顯示對象的存儲層級,以及通過S3 Replication將數(shù)據(jù)復制到任何AWS區(qū)域。使用S3智能分層時不收取檢索費用,而在訪問層之間轉移對象時也不收取額外的分層費用。支持S3 Glacier歸檔型和深度歸檔型的S3智能分層現(xiàn)已在所有AWS區(qū)域中可用。要開始使用Amazon S3智能分層,請訪問:https://aws.amazon.com/s3/storage-classes/
Amazon S3 Replication提供了將數(shù)據(jù)復制至同一或不同AWS區(qū)域中的多個S3存儲桶的能力
客戶現(xiàn)在可以使用S3 Replication在同一AWS區(qū)域內或不同AWS區(qū)域之間創(chuàng)建其數(shù)據(jù)副本,以滿足合規(guī)性、低延遲或跨帳戶共享數(shù)據(jù)的需求。一些客戶還需要將數(shù)據(jù)復制到多個目的地(同一AWS區(qū)域或多個AWS區(qū)域的多個S3存儲桶),以滿足數(shù)據(jù)主權要求,支持跨區(qū)域分布團隊之間的協(xié)作,或在多個AWS區(qū)域內維護相同的數(shù)據(jù)集以實現(xiàn)彈性。之前為了實現(xiàn)這一目標,客戶必須通過監(jiān)控S3事件以識別任何新創(chuàng)建的對象來構建自己的多目的地復制服務。然后,他們將這些事件分散到多個隊列中,調用AWS Lambda函數(shù)將對象復制到每個目的地的S3存儲桶,跟蹤每個API調用的狀態(tài)并匯總結果??蛻暨€需要監(jiān)控和維護這些系統(tǒng),這都會增加費用和運營開支。
借助S3 Replication(multi-destination),客戶不再需要為跨多個AWS區(qū)域復制數(shù)據(jù)而開發(fā)自己的解決方案??蛻衄F(xiàn)在可以使用S3 Replication將數(shù)據(jù)復制到同一AWS區(qū)域或多個AWS區(qū)域的多個存儲桶,或者將兩者結合使用,使用統(tǒng)一的的基于策略的管理方法來監(jiān)控數(shù)據(jù)復制狀態(tài)和指標。例如,客戶現(xiàn)在可以輕松地將數(shù)據(jù)復制到不同AWS區(qū)域中的多個S3存儲桶 -- 一個用于主存儲,一個用于歸檔,一個用于災難恢復。客戶還可以將數(shù)據(jù)集和更新分發(fā)至所有AWS區(qū)域,以實現(xiàn)低延遲。借助S3 Replication(multi-destination),客戶還可以為不同的目的地指定不同的存儲類別,以節(jié)省存儲成本并滿足數(shù)據(jù)合規(guī)性要求(例如,客戶可以將S3智能分層存儲類別用于兩個AWS區(qū)域中的數(shù)據(jù),在另外一個區(qū)域復制到S3 Glacier 深度歸檔中以獲取低成本數(shù)據(jù)歸檔)。 S3 Replication(multi-destination)完全支持現(xiàn)有的S3 Replication功能,如復制時間控制,以提供有SLA保證的可預測的復制時間,以滿足其合規(guī)性或業(yè)務要求。客戶還可以使用Amazon CloudWatch提供的監(jiān)控指標,事件和對象級復制狀態(tài)來監(jiān)控其復制作業(yè)??梢允褂肧3管理控制臺,AWS CloudFormation或通過AWS CLI或AWS開發(fā)工具包配置S3 Replication(multi-destination)。要開始使用S3 Replication(multi-destination),請訪問:https://aws.amazon.com/s3/features
AWS負責存儲服務的副總裁Mai-Lan Tomsen Bukovec表示:“未來三年產(chǎn)生的數(shù)據(jù)將比過去30年更多,機構和開發(fā)者都需要通過云來存儲大量的數(shù)據(jù),存儲技術也需要相應的革新。 今天的全新發(fā)布,提供了全新的為在SAN上運行的工作負載而構建的云存儲服務,客戶的海量數(shù)據(jù)可通過智能分層來自動優(yōu)化成本。同時,讓數(shù)據(jù)在全球范圍內按需復制和轉移變得更加簡單,讓客戶能更加有效地管理這一新常態(tài)?!?/p>
Teradata是云數(shù)據(jù)分析平臺公司,可解決大規(guī)模的復雜數(shù)據(jù)挑戰(zhàn)。Teradata工程高級副總裁Dan Spurling表示:“當您專注于實時分析全球數(shù)據(jù)時,對于我們的業(yè)務和最終客戶而言,在價格和性能之間取得適當?shù)钠胶庵陵P重要。 隨著Gp3的發(fā)布,基于AWS的Teradata客戶將體驗到更高的性能和吞吐量,從而使他們能夠推動大規(guī)模的分析。 Gp3相對于Gp2有著顯著的改進,我們預計吞吐量將提高4倍,而每個實例的EBS數(shù)量在減少。這使得我們的客戶將獲得更高的性能和更高的實例可用性?!?/p>
Embark正在開發(fā)自動駕駛卡車技術,以提高道路安全性和運輸效率。Embark基礎設施主管Paul Ashbourne說:“我們使用S3 智能分層存儲自動駕駛卡車車隊的日志。這些日志包含我們車輛上的傳感器(例如攝像機和LiDARS)的PB級數(shù)據(jù),同時還存儲控制信號和系統(tǒng)日志,我們需要快速完整地重現(xiàn)在任何時間點車輛及其周圍發(fā)生的一切,保留這些數(shù)據(jù)對我們的業(yè)務至關重要。我們的團隊經(jīng)常訪問最近收集的數(shù)據(jù)并進行分析,但是隨著時間的流逝,大多數(shù)的數(shù)據(jù)會變冷,并且有可能幾個月都不會訪問一些數(shù)據(jù)的子集。但重要的是,我們需要繼續(xù)保存較舊的數(shù)據(jù),以防萬一需要再次分析,但這樣做可能導致成本高昂。 S3智能分層對我們來說是完美的,因為它會根據(jù)各個對象訪問模式自動優(yōu)化我們的存儲成本。使用兩個新的‘歸檔訪問’層,當很少訪問車隊日志數(shù)據(jù)時,我們可以節(jié)省更多成本。借助S3智能分層,我們的工程團隊無需構建或管理任何自定義存儲監(jiān)控系統(tǒng),一切都能正常運行,我們可以將更多的時間集中在研發(fā)而不是管理存儲上?!?/p>
Zalando是歐洲領先的時尚和生活方式在線平臺,擁有超過3500萬活躍客戶。Zalando首席數(shù)據(jù)工程師Max Schultze說:“我們在Amazon S3上構建了一個15 PB的數(shù)據(jù)湖,這使員工可以及時分析他們以前無法訪問的歷史銷售和Web跟蹤數(shù)據(jù)。通過使用S3智能分層,我們能夠在數(shù)據(jù)湖中節(jié)省37%的年度存儲成本,因為它可以在頻繁訪問和不頻繁訪問層之間自動移動對象。我們期待新的S3 智能分層歸檔存儲層,節(jié)省更多的冷數(shù)據(jù)存儲成本?!?/p>
SmugMug + Flickr是全球最大、最具影響力的以攝影師為中心的平臺。SmugMug + Flickr的工程/運營總監(jiān)Andrew Shieh說:“我們從第一天開始就使用Amazon S3,現(xiàn)在是S3 Replication的新客戶。針對多個目的地的S3 Replication為我們的全球數(shù)據(jù)處理提供了絕佳選擇。我們現(xiàn)在可以以新的方式利用S3 Replication,使用現(xiàn)有的S3對象標簽制定優(yōu)化的復制策略。支持多個目標端的S3 Replication可以簡化復雜的數(shù)據(jù)復制管理,我們可以有更多的時間和精力來服務客戶。我們在S3中存儲并由少量代碼完全管理的PB級數(shù)據(jù)是我們的業(yè)務核心。 對S3的持續(xù)改進使SmugMug和Flickr與我們在AWS的合作伙伴一起成長?!?/p>