北京2019年8月19日 /美通社/ -- 在科學技術不斷發(fā)展的今天，人們通過對地觀測、地表傳感器網絡、遙感技術等手段，獲取了海量的地球科學數(shù)據集，這些數(shù)據統(tǒng)稱為地球大數(shù)據。
2015年，聯(lián)合國發(fā)布了可持續(xù)發(fā)展目標議程，以期面向2030年解決貧困、不平等和全球變化等的挑戰(zhàn)。這議程的眾多目標中，地球大數(shù)據至少可以為實現(xiàn)其中八個提供不同形式的支持，特別是純凈的水源、低廉的能源、可持續(xù)發(fā)展的城市、全球變化、水下生命、陸上生命、健康和平等發(fā)展目標。
2017年中科院成立了為期五年的“地球大數(shù)據科學工程”先導專項，其中大數(shù)據云服務平臺是“地球大數(shù)據科學工程”先導專項的重要建設任務之一，屬于綜合型基礎設施項目。
構建“大數(shù)據云服務平臺”的關鍵在于兩個層面，一是對中科院積累的海量基礎物理數(shù)據及其相互關系的建模；二是將對數(shù)據使用邏輯實現(xiàn)“服務化”，以支撐各單位實現(xiàn)數(shù)據共享和個性化應用孵化。
如何助力“地球大數(shù)據科學工程”構建包含資源、環(huán)境、生物、生態(tài)等多個領域的大數(shù)據云服務平臺，將海量“地球大數(shù)據”掌握在手中并實現(xiàn)云化？中科院和中科曙光通過“院企合作”的方式，將中科院的科研成果注入曙光 Cloudview 云計算操作系統(tǒng)產品中，實現(xiàn)科研成果的工程化。
依托專家力量，將其對海量數(shù)據的獨特使用邏輯框架化，并形成對底層資源支撐要求的量化，曙光以此作為輸入，在原有 Cloudview 云計算操作系統(tǒng)的基礎上，擴充資源調度功能并優(yōu)化，為地球大數(shù)據科學工程提供 IaaS 層資源支撐及資源管理與調度，通過靈活的調度、簡便的運維，讓“大”數(shù)據輕松一手掌握，推動并實現(xiàn)地球大數(shù)據技術創(chuàng)新、重大科學發(fā)現(xiàn)和一站式全方位宏觀決策支持。
建設國際領先的大數(shù)據云服務平臺，需不斷提高對資源層高標準的使用要求，如彈性、高性能的計算資源、海量的數(shù)據存儲、高并發(fā)的數(shù)據訪問、簡便的集群運維管理等。針對“地球大數(shù)據科學工程”的大數(shù)據云系統(tǒng)建設所形成的曙光云計算 Cloudview 操作系統(tǒng)的優(yōu)勢主要體現(xiàn)為三個方面：
第一，體現(xiàn)在大規(guī)模彈性及異構計算，達到更高的計算能力。
基于數(shù)百臺計算節(jié)點的調度提供計算資源的彈性擴展，滿足大氣、海洋領域科學應用對計算資源不斷變化的需求，不會產生計算資源瓶頸，不同業(yè)務系統(tǒng)之間均衡使用，使資源得到充分、合理的使用。利用 GPU 透傳、PCI 設備透傳能力，CPU 獨占特性，為業(yè)務應用提供資源獨占能力，避免資源的爭搶、達到更高性能的計算能力，支撐基于 Hadoop 大數(shù)據系統(tǒng)及 Spark 等流式數(shù)據處理，幫助用戶實現(xiàn)一鍵構建大數(shù)據處理環(huán)境功能。
第二，支持高并發(fā)海量存儲、提供更優(yōu)的數(shù)據治理能力。
中科曙光 Cloudview 云計算操作系統(tǒng)提供海量的存儲管理，提供統(tǒng)一的存儲管理與調度?？赏瑫r對接幾十PB級文件存儲系統(tǒng)和對象存儲系統(tǒng)，“文件存儲系統(tǒng)”主要用于存儲來自全國不同科研組織提交的科研數(shù)據，提供數(shù)據遠程匯交的人機接口和功能，同時提供空間配額、訪問權限控制、數(shù)據隔離等功能?！皩ο蟠鎯ο到y(tǒng)”主要用于將匯交的、有價值的科研數(shù)據以對象格式存儲，便于后期的數(shù)據處理和發(fā)布共享。數(shù)據網絡采用10Gb/40Gb網絡，10Gb網絡用于虛擬機鏡像在鏡像存儲與計算資源池之間的傳輸，“數(shù)據內網”采用40Gb高速網絡，用于科研數(shù)據在超級計算系統(tǒng)、大數(shù)據云系統(tǒng)、數(shù)據存儲系統(tǒng)之間的相互流轉。
第三，體現(xiàn)在簡單的運維，實現(xiàn)自動化交付。
整個系統(tǒng)的易用性，體現(xiàn)在上層應用的使用時候的便利性，專家建議對各使用單位的系統(tǒng)使用習慣做認真分類，并提出“強資源編排”的應用模塊化構建理念。曙光 Cloudview 云計算操作系統(tǒng)提供資源編排服務，可以實現(xiàn)從基礎架構到應用的端到端的自動化交付工作。資源編排服務采用完全圖形化 UI 操作，用戶可以通過簡單的圖表拖拽進行可視化編排。資源編排實現(xiàn)了資源及其拓撲關系的自動執(zhí)行，不僅獨立資源可按配置實現(xiàn)自動化部署，各資源間的拓撲關系也將自動執(zhí)行，幫助運維管理人員省去大量機械重復的手動配置操作。
通過與客戶緊密合作，中科曙光 Cloudview 云計算操作系統(tǒng)為“地球大數(shù)據科學工程”提供了高可靠、高性能、高彈性、易運維的 IaaS 平臺，切實提高了客戶在基礎架構和應用程序構建效率，為系統(tǒng)正常運行及業(yè)務創(chuàng)新保駕護航。讓海量復雜的地球大數(shù)據，輕松靈活地掌握在手中。
