數(shù)字經濟時代，數(shù)據(jù)成為關鍵生產要素。企業(yè)從海量數(shù)據(jù)中挖掘商業(yè)價值的需求越發(fā)迫切。但這些高維、異構、復雜關聯(lián)的數(shù)據(jù)給傳統(tǒng)大數(shù)據(jù)處理和關系型數(shù)據(jù)庫產品帶來了極大挑戰(zhàn)。中山大學聯(lián)合創(chuàng)鄰科技 “Galaxybase”圖數(shù)據(jù)庫，完成了萬億規(guī)模交易數(shù)據(jù)智能挖掘性能測試，為圖數(shù)據(jù)庫賦能的智慧互聯(lián)數(shù)字化未來開啟了新紀元。

“超級算力+創(chuàng)新存儲技術”，推動大數(shù)據(jù)智能革命

2021年11月底工信部印發(fā)《“十四五”軟件和信息技術服務業(yè)發(fā)展規(guī)劃》，明確提出“突破大規(guī)模并行圖數(shù)據(jù)處理關鍵技術”，推動高性能數(shù)據(jù)庫在金融、電信、能源、制造等重點行業(yè)關鍵業(yè)務系統(tǒng)應用。圖數(shù)據(jù)庫作為以圖論為設計原理的數(shù)據(jù)庫管理系統(tǒng)，將現(xiàn)實世界的實體和實體關系抽象表達為頂點和邊，擅長海量圖數(shù)據(jù)的高效存儲、查詢、計算、分析，能有效解決傳統(tǒng)數(shù)據(jù)庫技術無法解決的大數(shù)據(jù)關聯(lián)難題，在金融風險、精準零售、物流優(yōu)化、能源調度、生物制藥、智能交通、疫情防控等多種新興領域有巨大的應用價值。其解決了傳統(tǒng)技術關聯(lián)查詢效率低、成本高的問題，具有豐富、高效和敏捷的數(shù)據(jù)處理能力。而伴隨全球數(shù)字化競賽日趨白熱化，這將直接影響企業(yè)數(shù)字化、智能化進程。

在此背景下，如何建立高性能的圖計算理論及分布式存儲技術，是一個兼具重要性和挑戰(zhàn)性、并亟待解決的重要議題?；谥猩酱髮W牽頭的廣東省重點領域研發(fā)計劃“軟件、芯片與計算”重大專項項目“軟件定義的圖計算關鍵技術”，中山大學團隊聯(lián)合創(chuàng)鄰科技團隊依托國家超級計算廣州中心環(huán)境，完成全自主研發(fā)的國產高性能圖數(shù)據(jù)庫Galaxybase的安裝部署、萬億規(guī)模超級大圖數(shù)據(jù)的導入，實現(xiàn)實時大圖數(shù)據(jù)增刪改查， 并完成多跳查詢、模式挖掘等典型圖查詢、計算操作。

基于超算集群環(huán)境，Galaxybase圖數(shù)據(jù)庫構建了一套基于多級最優(yōu)圖分片理論、動態(tài)任務調度模式及節(jié)點間混合通訊機制的分布式并行圖處理體系，通過提供了一個高性能、可擴展、高可靠的圖處理平臺，支撐萬億節(jié)點大圖的分布式存儲、實時在線查詢。在自研數(shù)據(jù)生成器所模擬的萬億級真實金融交易場景數(shù)據(jù)集上(包含50億條賬戶信息及5萬億條帶屬性的交易信息，涵蓋了最小為10 到最大超過1000萬出入度的超級節(jié)點)，將賬號、資金、交易信息以交易網(wǎng)絡的形式組織在一起，高效實現(xiàn)了資金流向查詢、資金環(huán)路以及嫌疑賬戶間的最短關聯(lián)路徑查詢等深度圖查詢及圖計算，其中，通過交易時間進行過濾的六度的深鏈查詢平均耗時僅6.7秒。本項目僅用50臺機器集群實現(xiàn)了當前全球商業(yè)圖數(shù)據(jù)庫支持的最大規(guī)模圖數(shù)據(jù)處理，打破了美國頭部圖技術廠商于2021年6月用1000臺機器集群創(chuàng)造的1.2萬億規(guī)模大圖處理的世界紀錄。

高性能圖數(shù)據(jù)庫Galaxybase，為更深入的數(shù)字化未來做好準備

2021年12月12日， 國務院印發(fā)的《“十四五”數(shù)字經濟發(fā)展規(guī)劃》正式發(fā)布, 標志著我國數(shù)字經濟轉向深化應用、規(guī)范發(fā)展、普惠共享的新階段。

中山大學與創(chuàng)鄰科技的此次合作，充分體現(xiàn)了超級計算與創(chuàng)新存儲技術結合對行業(yè)數(shù)字化智能的賦能之力，開啟了圖技術賦能行業(yè)數(shù)字互聯(lián)新紀元，為實現(xiàn)“十四五”規(guī)劃提出的數(shù)字中國偉大目標添磚加瓦。

免責聲明：市場有風險，選擇需謹慎!此文僅供參考，不作買賣依據(jù)。

關鍵詞： 萬億 數(shù)據(jù)挖掘 世界