文思海輝-金融為大數(shù)據(jù)時(shí)代海量冷數(shù)據(jù)存儲(chǔ)創(chuàng)新解決方案

北京2017年12月22日電 /美通社/ -- 近年來(lái)，銀行業(yè)務(wù)發(fā)展對(duì)信息科技的依賴(lài)程度日益增加，為滿(mǎn)足不斷增長(zhǎng)的業(yè)務(wù)規(guī)模與不斷發(fā)展變化的業(yè)務(wù)需求，各商業(yè)銀行持續(xù)加大業(yè)務(wù)系統(tǒng)的建設(shè)與改造力度，逐步實(shí)現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的總行集中管理。但是，數(shù)據(jù)統(tǒng)一處理同時(shí)也造成了數(shù)據(jù)量的急劇膨脹，給數(shù)據(jù)的管理和維護(hù)帶來(lái)諸多問(wèn)題。

大數(shù)據(jù)時(shí)代海量冷數(shù)據(jù)如何存儲(chǔ)？文思海輝·金融基于業(yè)界先進(jìn)的Hadoop技術(shù)框架，利用其分布式存儲(chǔ)和計(jì)算能力，構(gòu)建了大數(shù)據(jù)環(huán)境下的新一代海量歷史數(shù)據(jù)存儲(chǔ)平臺(tái)。通過(guò)歷史數(shù)據(jù)平臺(tái)的建設(shè)，為業(yè)務(wù)人員提供更長(zhǎng)時(shí)間段的歷史數(shù)據(jù)在線服務(wù)，快速對(duì)接上層多種主流的數(shù)據(jù)挖掘、數(shù)據(jù)分析及可視化產(chǎn)品，如：SAS、R Studio、Tableau、SmartBI、D3JS等，深度開(kāi)發(fā)歷史數(shù)據(jù)，創(chuàng)造全新的商業(yè)價(jià)值。

該平臺(tái)全方位覆蓋銀行企業(yè)內(nèi)外部、多樣異構(gòu)的海量數(shù)據(jù)存儲(chǔ)，提供歷史數(shù)據(jù)快速檢索查詢(xún)功能，提高公檢法、非現(xiàn)場(chǎng)審計(jì)等應(yīng)用的查詢(xún)效率，支持長(zhǎng)時(shí)間跨度歷史數(shù)據(jù)的高性能查詢(xún)，最終實(shí)現(xiàn)“核心減負(fù)”。

文思海輝·金融海量歷史數(shù)據(jù)存儲(chǔ)平臺(tái)主要提供兩類(lèi)數(shù)據(jù)服務(wù)，包括歷史數(shù)據(jù)查詢(xún)類(lèi)服務(wù)及歷史數(shù)據(jù)接口類(lèi)服務(wù)。

歷史數(shù)據(jù)查詢(xún)類(lèi)服務(wù)：

以HBASE為存儲(chǔ)，以銀行內(nèi)部ESB總線為信息載體，實(shí)現(xiàn)柜面終端歷史數(shù)據(jù)查詢(xún)服務(wù)；以通用JDBC數(shù)據(jù)驅(qū)動(dòng)，訪問(wèn)HADOOP中的HIVE數(shù)據(jù)，實(shí)現(xiàn)WEB界面的人機(jī)交互；以WEB界面發(fā)起查詢(xún)，訪問(wèn)HBASE中的加工結(jié)果，將數(shù)據(jù)查詢(xún)展示給業(yè)務(wù)查詢(xún)?nèi)藛T，并提供分頁(yè)展示和數(shù)據(jù)接口下載。

歷史數(shù)據(jù)接口類(lèi)服務(wù)：

數(shù)據(jù)接口服務(wù)重點(diǎn)針對(duì)非日常特殊數(shù)據(jù)接口需求，以及系統(tǒng)測(cè)試或系統(tǒng)新上線對(duì)歷史數(shù)據(jù)初始化的需求。

文思海輝·金融海量歷史數(shù)據(jù)平臺(tái)總體架構(gòu)如下：

文思海輝-金融為大數(shù)據(jù)時(shí)代海量冷數(shù)據(jù)存儲(chǔ)創(chuàng)新解決方案

該系統(tǒng)主要功能包括：

• 全量數(shù)據(jù)存儲(chǔ)（實(shí)現(xiàn)離線數(shù)據(jù)全量匯總?cè)霂?kù)，提供統(tǒng)一格式存儲(chǔ)）；
• 統(tǒng)一格式查詢(xún)（形成統(tǒng)一的數(shù)據(jù)資源查詢(xún)接口，支持多種格式數(shù)據(jù)查詢(xún)）；
• 模型化數(shù)據(jù)分析（針對(duì)特定業(yè)務(wù)場(chǎng)景，提煉分析模型，實(shí)現(xiàn)預(yù)加工、預(yù)處理相關(guān)全量數(shù)據(jù)，并輸出分析結(jié)果）。

系統(tǒng)關(guān)鍵業(yè)務(wù)價(jià)值體現(xiàn)在：

• 提供海量數(shù)據(jù)存儲(chǔ)管理服務(wù)；
• 提供跨長(zhǎng)時(shí)間段數(shù)據(jù)查詢(xún)服務(wù)；
• 統(tǒng)一客戶(hù)體驗(yàn)（統(tǒng)一存儲(chǔ)管理、統(tǒng)一數(shù)據(jù)格式、集中數(shù)據(jù)服務(wù)）；
• 多種查詢(xún)方式（支持單筆或批量查詢(xún)）；
• 數(shù)據(jù)服務(wù)低延時(shí)、高可用。

文思海輝·金融歷史數(shù)據(jù)平臺(tái)方案創(chuàng)新點(diǎn)在于幫助銀行企業(yè)實(shí)現(xiàn)歷史數(shù)據(jù)線上化，提高業(yè)務(wù)辦理效率，提升客戶(hù)服務(wù)質(zhì)量，滿(mǎn)足未來(lái)增量交易數(shù)據(jù)的持續(xù)沉淀。具有低成本、高效率、易擴(kuò)展三大特點(diǎn)，有效解決了海量數(shù)據(jù)存儲(chǔ)及利用問(wèn)題，降低數(shù)據(jù)存儲(chǔ)的整體擁有成本(TcO)，提高整體系統(tǒng)性能，提高數(shù)據(jù)存儲(chǔ)靈活性。

文思海輝·金融海量歷史數(shù)據(jù)存儲(chǔ)平臺(tái)未來(lái)還將實(shí)現(xiàn)：

• 自動(dòng)化數(shù)據(jù)分級(jí)存儲(chǔ)技術(shù)

根據(jù)數(shù)據(jù)的重要性、訪問(wèn)頻率、保留時(shí)間、容量、性能等指標(biāo)，將數(shù)據(jù)采取不同的存儲(chǔ)方式分別存儲(chǔ)在不同性能的存儲(chǔ)設(shè)備上，通過(guò)分級(jí)存儲(chǔ)管理實(shí)現(xiàn)數(shù)據(jù)客體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移。

• 實(shí)現(xiàn)數(shù)據(jù)分級(jí)管理機(jī)制

參考數(shù)據(jù)分類(lèi)和數(shù)據(jù)價(jià)值模型，按照數(shù)據(jù)分類(lèi)和數(shù)據(jù)價(jià)值，建立數(shù)據(jù)分級(jí)存儲(chǔ)管理機(jī)制，旨在將業(yè)務(wù)數(shù)據(jù)按照數(shù)據(jù)分類(lèi)和數(shù)據(jù)價(jià)值級(jí)別存儲(chǔ)到相應(yīng)級(jí)別的存儲(chǔ)設(shè)備，實(shí)現(xiàn)數(shù)據(jù)的分級(jí)分層存儲(chǔ)和管理。

• 完善海量數(shù)據(jù)生命周期管理策略和流程

通過(guò)數(shù)據(jù)分級(jí)機(jī)制，建立銀行數(shù)據(jù)存儲(chǔ)服務(wù)目錄，為業(yè)務(wù)系統(tǒng)和數(shù)據(jù)提供不同級(jí)別的存儲(chǔ)服務(wù)。

通過(guò)存儲(chǔ)服務(wù)目錄和數(shù)據(jù)分級(jí)管理模型的映射，為不同級(jí)別的業(yè)務(wù)數(shù)據(jù)創(chuàng)建相應(yīng)的數(shù)據(jù)生命周期管理策略和流程，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)生命周期各個(gè)階段在不同級(jí)別存儲(chǔ)設(shè)備間的自動(dòng)遷移直至回收，并實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)在生命周期的各個(gè)階段的不同級(jí)別的存儲(chǔ)服務(wù)。

文思海輝·金融海量歷史數(shù)據(jù)存儲(chǔ)平臺(tái)通過(guò)對(duì)數(shù)據(jù)的存儲(chǔ)、處理、建模、查詢(xún)、分析的方式，幫助企業(yè)制定完善的歷史數(shù)據(jù)歸檔管理機(jī)制，制定統(tǒng)一的歷史數(shù)據(jù)保存策略，構(gòu)建全行集中統(tǒng)一的歷史數(shù)據(jù)處理平臺(tái)。