2016年8月5日,全球開源領導廠商紅帽攜手ZD至頂網、Intel、云達科技共同舉辦的主題為“開放 融合 開源開啟存儲新世界”的2016年中國開源企業(yè)存儲峰會在北京富力萬麗酒店隆重召開。紅帽亞太區(qū)云存儲與大數據總監(jiān)Andrew Hatfield帶來“存儲市場的顛覆與Ceph技術架構的崛起”主題演講。
Andrew Hatfield在演講中表示:紅帽的存儲是分布式的企業(yè)存儲,已經進行了大規(guī)模的驗證。用戶可以按照自己的需求進行對象存儲和文件存儲等擴展服務?;贑eph技術架構正在崛起,Ceph可以讓技術架構更透明,讓所有可能出現的技術問題更透明。Ceph可以通過可視化的方式實現對數據中心進行管理和監(jiān)控。Andrew Hatfield從技術演進、用戶實踐、商業(yè)模式談了Ceph的崛起路線。
以下是Andrew Hatfield的演講實錄:
紅帽的存儲是分布式的企業(yè)存儲,已經進行了大規(guī)模的驗證。用戶可以用它然后在你自己的數據中心進行使用,不需要了解具體的哪一個硬件技術,完全是靈活的,按照你的需求進行拓展。有了紅帽以后不需要買非常大的硬盤,可以一次進行購買,可以進行對象存儲和文件存儲,這樣有多種的技術去做不同的工作, Ceph開源是一種軟件定義的平臺,完全可以用Ceph做同樣的事情。
那到底什么是Ceph?是一系列服務。從提供設計負載,到系統(tǒng)預設等,可以幫助你快速部署。在這些模塊之下,把所有服務器聯絡起來,把數據送到存儲里,然后共享。對于Ceph可以做非常強大的一點是可以進行系統(tǒng)的描述,看數據中心是怎樣的。網絡當中的設備或者電路發(fā)生問題時,可以識別出來。今天系統(tǒng)設計時,傳統(tǒng)是怎樣的?出現一些不起眼的問題時,可能會出現多個冗余的服務器?,F在有了Ceph之后,你認為出現故障是非常自然的狀態(tài),可以進行適配,無論是電纜還是架、服務器出現問題,Ceph可以更好地理解它,不會有任何干擾而持續(xù)工作下去。這是非常強大的,在我們背后的一個重要能力。
今天采用Ceph的方式,最經常看到的是用Openstack來支持的,70%使用公共語言是用Ceph。而且公共集成,在云系統(tǒng)里都是和Ceph連接的,不管是Swift等等,當你部署云時,不管是針對你自己還是客戶時,可以進行同樣方式的部署,不是一個傳統(tǒng)的存儲系統(tǒng),而是你要在和它整合在一起,有紅帽的平臺,而且包括Openstack的存儲,可以輕易地部署。
從商業(yè)角度來說,它的業(yè)務優(yōu)勢是什么?大家都知道開源沒有專有權,可以讓你開發(fā),不管是有一個問題或者有一個bug,你需要尋求幫助,或者你想要根據自己的環(huán)境增加新的功能,你不光是有機會,而且我們鼓勵你這樣做,因為它一個合作性的,這就意味著存儲軟件是你想要的樣子,紅帽不會去壟斷,也不會去限制它的功能或者能夠做一些什么,它非常靈活,我們鼓勵參與、希望你們參與,這是我們紅帽工作的方式,是我們社區(qū)的核心內容,因為這樣,你就避免了鎖定。
比如你有一個服務器的供應商,但出于某種原因這種供應商不適合你了,你有靈活性和自由選擇其他的供應商,比如Intel這樣的公司,你可以選擇系統(tǒng),而不是他們對進行控制。我們有大社區(qū)和大系統(tǒng),用很多公司做了很多工作,比如Intel在Ceph的高效方面做了很多工作,他們給社區(qū)帶來了很多專業(yè)知識,比如和硬件進行融合等等,每一個人都從中受益。前面Chirs Mawer也說到了,傳統(tǒng)上要購買傳統(tǒng)的存儲,買很大,漸漸地填滿,客戶會估計他們需要多少存儲量,存儲保留多長時間,三年、四年,然后設備上的容量不夠了,而且時間只過去了一半,因此他們有大量的資本支出和購買新的存儲量,因為我們是軟件定義存儲。我們的方式可以降低成本,了解到自己的需求,不需要一次性購買大量的存儲,因為紅帽可以支持所有開發(fā),驅動社區(qū)的發(fā)展和合作伙伴、競爭對手之間的合作可提供最好的存儲軟件給客戶??蛻舨挥脫募t帽或者Ceph對于未來是合適的,因為你知道在這兒是有保障的。
還有技術方面的優(yōu)勢。比如你現在在運行一個云,把所有東西連接在一起。這個Ceph可以實現,你在云上運行,Ceph幫你訴諸這些應用程序,你可以存儲你的對象、文件等。所有硬件和基礎設施都有了。我們也可以擴展到更大的量。
昨天晚上我跟中國移動的工程師有交流,這不是一個小規(guī)模的存儲系統(tǒng),一些小的提供商會碰到一些問題,特別是對于性能、成本上的可持續(xù)。我們有一個機制,沒有單點故障,服務器獨立地存儲,還有你的云系統(tǒng)等等。如果一個開關、服務器出的問題,服務器不會中斷,環(huán)境在運行,Ceph會在故障周圍繼續(xù)運行,可以持續(xù)提供服務,有這種彈性,即使知道有一些地方出現了故障。
還有其他技術,比如自愈能力。網絡出現了故障,讓工程師換開關,Ceph會意識到這個問題,而且會自動恢復到最佳狀態(tài),進行自愈、自我管理。因此管理起來非常簡單,當你了解你要什么功能,開始的時候可以進行設計,根據你的需要來做,Ceph會自己管理。
我們很多服務器有彈性,確保高效,不會有很多熱點或者讓一個地方工作起來特別忙碌,它會把工作量予以平均分配。
從Openstack這個角度,我們有工作云,Ceph的Openstack運行非常好,Openstack早期的時候,Ceph一起與Openstack項目工作,當時有深度的集成。傳統(tǒng)云服務構成了挑戰(zhàn),如果想要啟動虛擬機非常慢,如果想要啟動十個、二十個或者一百個虛擬機,傳統(tǒng)的存儲沒有辦法實現。一個集成的Ceph,我們能夠順時間啟動很多的虛擬機。因為我們知道Openstack是如何工作的,因此我們能夠快速地進行備份和復制。傳統(tǒng)方式應用數據的彈性或者災難恢復等對于很多企業(yè)不是那么適用。我們要解決這個問題,Ceph會提供災難恢復及存檔服務,能夠提供多層列式、多站點式的復制,比如你們可以用歸檔或者照片的存檔。還可以快速存儲,把不同功能進行層列化、進行分層,根據客戶的需求來執(zhí)行。
以前碰到的問題是如何有效地管理存儲系統(tǒng)。我記得以前銷售傳統(tǒng)存儲給其他供應商,有三個不同的存儲,客戶說我應該用哪一個,為什么有這么多選擇?雖然有這么多工具,為什么要用不同的存儲器管理我們的應用?以前的存儲非常特點,并不想去更多地接觸它,會擔心,只是讓存儲器做自己的工作,而不會過多地關注它?,F在存儲不一樣的,從Ceph角度有很多方式去管理,可以去管理Ceph的集群,可以使用CLI、API,可以用云管理的平臺,也可以使用網絡方式,其實有兩種方式:一個是用蘋果方式,它是一個非常好的網絡界面,所帶來的價值是能夠簡單管理,便易地部署。
我們紅帽有一個紅帽存儲控制臺,叫Storage Console2,可以用來部署、監(jiān)督、管理等等。還有其他領域,Ceph也有很大優(yōu)勢,一個是對象云。在云的環(huán)境中作為一個單一的對象,亞馬遜使用比較多,傳統(tǒng)供應商會用S3,還有Swift,和S3非常接近,在開源里可以開發(fā)自己的應用。
這里看一下行業(yè)到底是什么情況。這兩個會并存一段時間,我們不相信只有一個。紅帽可以實現S3,也可以使用Swift,可以選擇兩種不同的方式。
還有一個,當我在部署一個對象時,希望能夠提供許可訪問給一些用戶,不管是讀還是寫。其他的用戶可以去讀這些對象,讓其他的用戶沒有辦法使用。以前,我們只能使用Openstack Keystone,我們增加了這個功能,可以讓客戶使用。因此即使你有很多的靈活性,有服務,進行控制,我們也提升了匹配性,S3、swift提供了更好的匹配性,亞馬遜使用S3有更多的匹配性。我們在明年早期會提供更多的支持,開始的時候會有S3的應用,可以輸數據,還有網絡應用作為一個對象來應用,未來會有更加靈活、通用的界面進行備份,進行存取控制。傳統(tǒng)上UP store可以進行內容上的效率,這是使用Up store能夠帶來的優(yōu)勢。
大多數的客戶、大多數的企業(yè)不光是一個單站點的數據中心,會有多個站點,有各種各樣不同的需求。在紅帽存儲需求里,加入了多站點的對象接口,現在客戶可以使用存儲系統(tǒng),在兩個站點進行使用。比如有兩個數據中心,一個中國北方,一個在中國南方,有紅帽Ceph store2,在任何地點可以度曲、分析這個數據,而且兩個中心可進行復制,不管是從可性性和災難復備及我們的恢復力方面都是比較強的移動手機公司,你可能是一個航空公司,你想要用這些數據,你想快速使用這些數據,那么比調用本地更快,這是我們這方面的大提升。同時從快的角度來說,進項或者復制,以前我們需要的都是手動來做,但現在自動化了,大多數的傳統(tǒng)存儲系統(tǒng)要付很多錢進行存儲,同時受到距離影響。因為Ceph用網絡沒有距離。比如在中國,你可以把數據發(fā)到另外一個國家,進項都可以直接進行交流。我們不希望從你使用的功能而收費,如果你想要做什么,我們會把這些功能都給你。
現在比較大的區(qū)別,比如紅帽Ceph的存儲和傳統(tǒng)的存儲公司相比,大多數比較熟悉傳統(tǒng)存儲公司,他們的工作方式是向上擴展,存儲的數據越多,速度就越慢。但你要了解它的工作方式,就了解到它的的瑕疵,和了解到紅帽的存儲和其他的存儲,存儲的數據更多,速度更加快,這是完全不同的方式。傳統(tǒng)存儲方式是有限容量,不同模式有不同的量。但在某一個節(jié)點上有一個大盒子,沒有辦法變得再大了,因為Ceph架構可以不斷地擴展,擴展到我想要用的容量,而且變得越來越大,可以滿足我的需求。
擴展性、容量,因為我們解決了內容,隨著不斷擴展,性能變得越來越好,這是非??岬氖虑?。
還有開源及其他很多事情,很多中國的Ceph用戶對Ceph做了很大貢獻,我看到他們的價值所在,我覺得這是能夠幫我們解決傳統(tǒng)當中的很多問題。所以這個產品是一種合作式的,是開放式的,可以邀請每一個人來參與。
通常通常問我這個問題,到底使用Ceph的用戶有哪些?——在金融服務里、建設機構里,他們是我們非常多的客戶。另外是研究方面。還有電視臺、云服務提供商,還有很多政府,這取決于他們到底想使用哪一類型的服務。
最后澳大利亞有一個非常大的大學,使用的500PB的應用,這是澳大利亞最大的一個大學之一,莫納什大學,是亞太南區(qū)比較大的學校,我們感覺自豪,可以使用Ceph做出這么大的貢獻、取得這么大的成就,有75%的節(jié)省,比起傳統(tǒng)而言,非常強大。他們現在還希望能夠加入5個PB,所以能夠做很多事情。感謝大家。