Hologres是阿里巴巴自主研發(fā)的一站式實(shí)時(shí)數(shù)倉(cāng)引擎（Real-Time Data Warehouse），支持海量數(shù)據(jù)實(shí)時(shí)寫(xiě)入、實(shí)時(shí)更新、實(shí)時(shí)加工、實(shí)時(shí)分析，支持標(biāo)準(zhǔn)SQL（兼容PostgreSQL協(xié)議和語(yǔ)法，支持大部分PostgreSQL函數(shù)），支持PB級(jí)數(shù)據(jù)多維分析（OLAP）與即席分析（Ad Hoc），支持高并發(fā)低延遲的在線數(shù)據(jù)服務(wù)（Serving），支持多種負(fù)載的細(xì)粒度隔離與企業(yè)級(jí)安全能力，與MaxCompute、Flink、DataWorks深度融合，提供企業(yè)級(jí)離在線一體化全棧數(shù)倉(cāng)解決方案。

Hologres致力于高性能、高可靠、低成本、可擴(kuò)展的實(shí)時(shí)數(shù)倉(cāng)引擎研發(fā)，為用戶(hù)提供海量數(shù)據(jù)的實(shí)時(shí)數(shù)據(jù)倉(cāng)庫(kù)解決方案和亞秒級(jí)交互式查詢(xún)服務(wù)，廣泛應(yīng)用在實(shí)時(shí)數(shù)據(jù)中臺(tái)建設(shè)、精細(xì)化分析、自助式分析、營(yíng)銷(xiāo)畫(huà)像、人群圈選、實(shí)時(shí)風(fēng)控等場(chǎng)景。

前置概念

閱讀本文前，您可按需了解基礎(chǔ)概念：什么是數(shù)據(jù)倉(cāng)庫(kù)？

功能特性

• 多場(chǎng)景查詢(xún)分析

  Hologres支持行存、列存、行列共存等多種存儲(chǔ)模式和索引類(lèi)型，同時(shí)滿(mǎn)足簡(jiǎn)單查詢(xún)、復(fù)雜查詢(xún)、即席查詢(xún)等多樣化的分析查詢(xún)需求。Hologres使用大規(guī)模并行處理架構(gòu)，分布式處理SQL，提高資源利用率，實(shí)現(xiàn)海量數(shù)據(jù)極速分析。

  • 亞秒級(jí)交互式分析

    Hologres采用可擴(kuò)展的大規(guī)模并行處理（MPP）架構(gòu)全并行計(jì)算，通過(guò)向量化算子發(fā)揮CPU最佳算力，基于AliORC壓縮存儲(chǔ)，面向SSD存儲(chǔ)優(yōu)化IO吞吐，支持PB級(jí)數(shù)據(jù)亞秒級(jí)交互式分析體驗(yàn)。

  • 在線高性能主鍵點(diǎn)查

    基于行存表的主鍵索引和查詢(xún)引擎的短路徑優(yōu)化，Hologres支持每秒數(shù)十萬(wàn)QPS高性能在線點(diǎn)查、前綴掃描，支持高吞吐實(shí)時(shí)更新，相比開(kāi)源系統(tǒng)性能提升10倍以上，可用于實(shí)時(shí)加工鏈路的維表關(guān)聯(lián)、ID-Mapping等場(chǎng)景。

  • 聯(lián)邦查詢(xún)，數(shù)據(jù)湖加速

    Hologres無(wú)縫對(duì)接MaxCompute，支持外部表透明加速查詢(xún)和元數(shù)據(jù)自動(dòng)導(dǎo)入，相比原生MaxCompute訪問(wèn)加速5-10倍，支持冷熱數(shù)據(jù)關(guān)聯(lián)分析，同時(shí)支持MaxCompute與Hologres之間百萬(wàn)行每秒高速同步，支持OSS數(shù)據(jù)湖格式讀寫(xiě)，簡(jiǎn)化數(shù)據(jù)入湖入倉(cāng)。

  • 半結(jié)構(gòu)數(shù)據(jù)分析

    原生支持半結(jié)構(gòu)化JSON數(shù)據(jù)類(lèi)型，支持JSONB列式存儲(chǔ)壓縮，支持豐富的JSON相關(guān)表達(dá)算子，使JSON數(shù)據(jù)存儲(chǔ)和分析效率接近原生列存效率。

• 原生實(shí)時(shí)數(shù)倉(cāng)

  針對(duì)實(shí)時(shí)數(shù)倉(cāng)數(shù)據(jù)更新頻繁、數(shù)據(jù)模型簡(jiǎn)單和分析場(chǎng)景敏捷的特性，Hologres支持高并發(fā)實(shí)時(shí)寫(xiě)入與更新，支持事務(wù)隔離與原子性，數(shù)據(jù)寫(xiě)入即可查。

  • 高吞吐實(shí)時(shí)寫(xiě)入與更新

    Hologres與Flink、Spark等計(jì)算框架原生集成，通過(guò)內(nèi)置Connector，支持高通量數(shù)據(jù)實(shí)時(shí)寫(xiě)入與更新，支持源表、結(jié)果表、維度表多種場(chǎng)景，支持多流合并等復(fù)雜操作。

  • 所見(jiàn)即所得的開(kāi)發(fā)

    數(shù)據(jù)實(shí)時(shí)寫(xiě)入即可查詢(xún)，支持DB、Schema、Table三級(jí)體系，支持視圖View，原生支持Update/Delete/Upsert，支持關(guān)聯(lián)、嵌套、窗口等豐富表達(dá)能力，原生支持半結(jié)構(gòu)化JSON數(shù)據(jù)分析，支持MySQL等數(shù)據(jù)庫(kù)數(shù)據(jù)整庫(kù)一鍵入庫(kù)，實(shí)時(shí)同步。

  • 全鏈路事件驅(qū)動(dòng)

    支持表更新事件的Binlog透出能力，通過(guò)Flink消費(fèi)Hologres Binlog，實(shí)現(xiàn)數(shù)倉(cāng)層次間全鏈路實(shí)時(shí)開(kāi)發(fā)，滿(mǎn)足分層治理的前提下，縮短數(shù)據(jù)加工端到端延遲。

  • 實(shí)時(shí)物化視圖

    支持定義實(shí)時(shí)物化視圖，簡(jiǎn)化數(shù)據(jù)加工聚合等開(kāi)發(fā)，數(shù)據(jù)實(shí)時(shí)寫(xiě)入，聚合實(shí)時(shí)更新，完善支持實(shí)時(shí)加工場(chǎng)景。

• 企業(yè)級(jí)運(yùn)維能力

  支持計(jì)算負(fù)載、訪問(wèn)權(quán)限等細(xì)粒度管控要求，提供豐富的監(jiān)控和告警指標(biāo)，支持計(jì)算資源彈性擴(kuò)展，支持系統(tǒng)熱升級(jí)，滿(mǎn)足企業(yè)級(jí)安全可靠的運(yùn)維需求。

  • 數(shù)據(jù)安全

    支持細(xì)粒度訪問(wèn)控制策略，支持BYOK數(shù)據(jù)存儲(chǔ)加密和數(shù)據(jù)脫敏，支持?jǐn)?shù)據(jù)保護(hù)傘、IP白名單，支持RAM、STS及獨(dú)立賬號(hào)等多種認(rèn)證體系，通過(guò)PCI-DSS安全認(rèn)證。支持數(shù)據(jù)備份與恢復(fù)。

  • 負(fù)載隔離

    多個(gè)計(jì)算實(shí)例組成一主多從模式，實(shí)例間共享一份存儲(chǔ)，計(jì)算資源隔離，實(shí)現(xiàn)寫(xiě)入和讀取隔離，查詢(xún)和服務(wù)隔離，實(shí)現(xiàn)故障管理，支持故障節(jié)點(diǎn)快速自動(dòng)恢復(fù)。無(wú)需本地盤(pán)，盤(pán)古三副本高可靠冗余存儲(chǔ)。

  • 自運(yùn)維能力

    內(nèi)置查詢(xún)歷史、元倉(cāng)表等運(yùn)維診斷信息，用戶(hù)可以基于查詢(xún)歷史和表的元數(shù)據(jù)，快速定位系統(tǒng)瓶頸和風(fēng)險(xiǎn)點(diǎn)，提升自運(yùn)維能力。

• 生態(tài)與可擴(kuò)展性

  兼容PostgreSQL生態(tài)，與大數(shù)據(jù)計(jì)算引擎及大數(shù)據(jù)智能研發(fā)平臺(tái)DataWorks無(wú)縫打通。無(wú)需額外學(xué)習(xí)，即可上手開(kāi)發(fā)。

  • 兼容PostgreSQL生態(tài)

    Hologres兼容PostgreSQL生態(tài)，提供JDBC/ODBC接口，輕松對(duì)接第三方ETL和BI工具，包括Quick BI、DataV、Tableau、帆軟等。支持GIS空間數(shù)據(jù)分析，支持Oracle函數(shù)擴(kuò)展包。

  • DataWorks開(kāi)發(fā)集成

    Hologres與DataWorks深度集成，提供圖形化、智能化、一站式的數(shù)倉(cāng)搭建和交互式分析服務(wù)工具，支持?jǐn)?shù)據(jù)資產(chǎn)、數(shù)據(jù)血緣、數(shù)據(jù)實(shí)時(shí)同步、數(shù)據(jù)服務(wù)等企業(yè)級(jí)能力。

  • Hadoop生態(tài)集成

    支持Hive/Spark Connector，通過(guò)Hadoop平臺(tái)加工的數(shù)據(jù)可以高吞吐導(dǎo)入Hologres，并對(duì)外提供服務(wù)。支持加速讀取外部表OSS-HDFS格式存儲(chǔ)，支持Hudi、Delta等存儲(chǔ)格式。

  • 達(dá)摩院Proxima向量檢索

    Hologres與人工智能平臺(tái) PAI緊密結(jié)合，內(nèi)置達(dá)摩院Proxima向量檢索插件，支持在線實(shí)時(shí)特征存儲(chǔ)、實(shí)時(shí)召回、向量檢索。