云HBase X-Pack是基于Apache HBase、Phoenix、Spark深度擴展,融合Solr檢索等技術,支持海量數據的一站式存儲、檢索與分析。融合云Kafka+云HBase X-Pack能夠構建一體化的數據處理平臺,支持風控、推薦、檢索、畫像、社交、物聯網、時空、表單查詢、離線數倉等場景,助力企業數據智能化。

方案架構

下圖是業界廣泛應用的大數據中臺架構。
說明 其中HBase和Spark選擇云HBase X-Pack。詳情請參見X-pack Spark分析引擎
diagram
  • 消息流入:Flume、Logstash或者在線庫的Binlog流入云消息隊列 Kafka 版
  • 實時計算:通過X-Pack Spark Streaming實時地消費云消息隊列 Kafka 版的消息,寫入到云HBase中對外提供在線查詢。
  • 實時存儲與檢索:云HBase融合Solr以及Phoenix SQL層能夠提供海量的實時存儲,以及在線查詢檢索。
  • 批處理、數倉及算法:在線存儲HBase的數據可以自動歸檔到X-Pack Spark數倉。全量數據沉淀到Spark數倉(HiveMeta),做批處理、算法分析等復雜計算,結果回流到在線庫對外提供查詢。

更多信息