文思海輝-金融為大數(shù)據(jù)時代海量冷數(shù)據(jù)存儲創(chuàng)新解決方案

北京2017年12月22日電 /美通社/ -- 近年來，銀行業(yè)務(wù)發(fā)展對信息科技的依賴程度日益增加，為滿足不斷增長的業(yè)務(wù)規(guī)模與不斷發(fā)展變化的業(yè)務(wù)需求，各商業(yè)銀行持續(xù)加大業(yè)務(wù)系統(tǒng)的建設(shè)與改造力度，逐步實現(xiàn)關(guān)鍵業(yè)務(wù)數(shù)據(jù)的總行集中管理。但是，數(shù)據(jù)統(tǒng)一處理同時也造成了數(shù)據(jù)量的急劇膨脹，給數(shù)據(jù)的管理和維護帶來諸多問題。

大數(shù)據(jù)時代海量冷數(shù)據(jù)如何存儲？文思海輝·金融基于業(yè)界先進的Hadoop技術(shù)框架，利用其分布式存儲和計算能力，構(gòu)建了大數(shù)據(jù)環(huán)境下的新一代海量歷史數(shù)據(jù)存儲平臺。通過歷史數(shù)據(jù)平臺的建設(shè)，為業(yè)務(wù)人員提供更長時間段的歷史數(shù)據(jù)在線服務(wù)，快速對接上層多種主流的數(shù)據(jù)挖掘、數(shù)據(jù)分析及可視化產(chǎn)品，如：SAS、R Studio、Tableau、SmartBI、D3JS等，深度開發(fā)歷史數(shù)據(jù)，創(chuàng)造全新的商業(yè)價值。

該平臺全方位覆蓋銀行企業(yè)內(nèi)外部、多樣異構(gòu)的海量數(shù)據(jù)存儲，提供歷史數(shù)據(jù)快速檢索查詢功能，提高公檢法、非現(xiàn)場審計等應(yīng)用的查詢效率，支持長時間跨度歷史數(shù)據(jù)的高性能查詢，最終實現(xiàn)“核心減負(fù)”。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺主要提供兩類數(shù)據(jù)服務(wù)，包括歷史數(shù)據(jù)查詢類服務(wù)及歷史數(shù)據(jù)接口類服務(wù)。

歷史數(shù)據(jù)查詢類服務(wù)：

以HBASE為存儲，以銀行內(nèi)部ESB總線為信息載體，實現(xiàn)柜面終端歷史數(shù)據(jù)查詢服務(wù)；以通用JDBC數(shù)據(jù)驅(qū)動，訪問HADOOP中的HIVE數(shù)據(jù)，實現(xiàn)WEB界面的人機交互；以WEB界面發(fā)起查詢，訪問HBASE中的加工結(jié)果，將數(shù)據(jù)查詢展示給業(yè)務(wù)查詢?nèi)藛T，并提供分頁展示和數(shù)據(jù)接口下載。

歷史數(shù)據(jù)接口類服務(wù)：

數(shù)據(jù)接口服務(wù)重點針對非日常特殊數(shù)據(jù)接口需求，以及系統(tǒng)測試或系統(tǒng)新上線對歷史數(shù)據(jù)初始化的需求。

文思海輝·金融海量歷史數(shù)據(jù)平臺總體架構(gòu)如下：

文思海輝-金融為大數(shù)據(jù)時代海量冷數(shù)據(jù)存儲創(chuàng)新解決方案

該系統(tǒng)主要功能包括：

• 全量數(shù)據(jù)存儲（實現(xiàn)離線數(shù)據(jù)全量匯總?cè)霂?，提供統(tǒng)一格式存儲）；
• 統(tǒng)一格式查詢（形成統(tǒng)一的數(shù)據(jù)資源查詢接口，支持多種格式數(shù)據(jù)查詢）；
• 模型化數(shù)據(jù)分析（針對特定業(yè)務(wù)場景，提煉分析模型，實現(xiàn)預(yù)加工、預(yù)處理相關(guān)全量數(shù)據(jù)，并輸出分析結(jié)果）。

系統(tǒng)關(guān)鍵業(yè)務(wù)價值體現(xiàn)在：

• 提供海量數(shù)據(jù)存儲管理服務(wù)；
• 提供跨長時間段數(shù)據(jù)查詢服務(wù)；
• 統(tǒng)一客戶體驗（統(tǒng)一存儲管理、統(tǒng)一數(shù)據(jù)格式、集中數(shù)據(jù)服務(wù)）；
• 多種查詢方式（支持單筆或批量查詢）；
• 數(shù)據(jù)服務(wù)低延時、高可用。

文思海輝·金融歷史數(shù)據(jù)平臺方案創(chuàng)新點在于幫助銀行企業(yè)實現(xiàn)歷史數(shù)據(jù)線上化，提高業(yè)務(wù)辦理效率，提升客戶服務(wù)質(zhì)量，滿足未來增量交易數(shù)據(jù)的持續(xù)沉淀。具有低成本、高效率、易擴展三大特點，有效解決了海量數(shù)據(jù)存儲及利用問題，降低數(shù)據(jù)存儲的整體擁有成本(TcO)，提高整體系統(tǒng)性能，提高數(shù)據(jù)存儲靈活性。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺未來還將實現(xiàn)：

• 自動化數(shù)據(jù)分級存儲技術(shù)

根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時間、容量、性能等指標(biāo)，將數(shù)據(jù)采取不同的存儲方式分別存儲在不同性能的存儲設(shè)備上，通過分級存儲管理實現(xiàn)數(shù)據(jù)客體在存儲設(shè)備之間的自動遷移。

• 實現(xiàn)數(shù)據(jù)分級管理機制

參考數(shù)據(jù)分類和數(shù)據(jù)價值模型，按照數(shù)據(jù)分類和數(shù)據(jù)價值，建立數(shù)據(jù)分級存儲管理機制，旨在將業(yè)務(wù)數(shù)據(jù)按照數(shù)據(jù)分類和數(shù)據(jù)價值級別存儲到相應(yīng)級別的存儲設(shè)備，實現(xiàn)數(shù)據(jù)的分級分層存儲和管理。

• 完善海量數(shù)據(jù)生命周期管理策略和流程

通過數(shù)據(jù)分級機制，建立銀行數(shù)據(jù)存儲服務(wù)目錄，為業(yè)務(wù)系統(tǒng)和數(shù)據(jù)提供不同級別的存儲服務(wù)。

通過存儲服務(wù)目錄和數(shù)據(jù)分級管理模型的映射，為不同級別的業(yè)務(wù)數(shù)據(jù)創(chuàng)建相應(yīng)的數(shù)據(jù)生命周期管理策略和流程，實現(xiàn)業(yè)務(wù)數(shù)據(jù)生命周期各個階段在不同級別存儲設(shè)備間的自動遷移直至回收，并實現(xiàn)業(yè)務(wù)數(shù)據(jù)在生命周期的各個階段的不同級別的存儲服務(wù)。

文思海輝·金融海量歷史數(shù)據(jù)存儲平臺通過對數(shù)據(jù)的存儲、處理、建模、查詢、分析的方式，幫助企業(yè)制定完善的歷史數(shù)據(jù)歸檔管理機制，制定統(tǒng)一的歷史數(shù)據(jù)保存策略，構(gòu)建全行集中統(tǒng)一的歷史數(shù)據(jù)處理平臺。