實時數倉 Hologres
功能集 |
功能 |
功能描述 |
參考文檔 |
計算 |
SQL開發 |
兼容PostgreSQL語法,支持完整的DDL、DML等能力,提供多種數據類型和函數,可標準的SQL開發,上手成本低。 |
|
引擎擴展能力 |
提供多種擴展函數,滿足流量分析、空間計算、向量計算等多個場景更加低成本的分析計算,包含:PostGIS擴展、Proxima向量計算、Oracle擴展函數、ClickHouse擴展函數、聚合函數、流量分析函數。 |
||
Hologres Binlog |
支持單表級別的Binlog,用于記錄表數據的修改記錄。通過Hologres Binlog,實現數倉分層間的全鏈路實時開發,縮短數據端到端加工延遲,同時提升數據開發效率。 |
訂閱Hologres Binlog |
|
實時物化視圖 |
實時物化視圖將對明細表的數據進行預先聚合,存儲為物化視圖,通過查詢物化視圖,減少計算量,顯著提升查詢性能。 |
實時物化視圖(Beta) |
|
JSON和JSON列存 |
支持JSON和JSONB數據類型、多種JSON函數,滿足標簽、畫像等場景對半結構化數據分析的需求。同時支持JSONB列式存儲,實現JSON數據更高的存儲壓縮,更低的查詢延遲。 |
||
存儲 |
內表多種存儲模式和存儲介質 |
1.存儲模式上,業務可根據需求選擇存儲模式,包含:列存、行存、行列共存;行存滿足高QPS點查場景、列存支持高性能多維分析、行列共存支持行存和列存的混合查詢場景。 2.存儲介質上:支持按需將數據進行冷熱分層存儲,實現更加低成本的數據存儲,包含:冷熱分層存儲。 |
|
數據湖等外表存儲 |
可直接訪問存儲MaxCompute、OSS上的數據,實現離線數據加速,數據湖數據加速,包含:OSS存儲、MaxCompute存儲。 |
||
開發工具和分析工具 |
HoloWeb |
Holoweb是基于Hologres引擎的可視化數據庫管理和開發一站式平臺,靈活適用于數據庫管理、數據庫接入、數據開發、數據分析、性能分析和診斷等用戶場景。 |
連接HoloWeb |
DataWorks |
DataWorks是阿里云的一站式開發平臺,提供數據開發、數據集成、數據服務、數據地圖等能力,Hologres與DataWorks深度集成,可以直接綁定Hologres實例進行一站式實時數倉開發,滿足業務的不同場景開發和管理需求。 |
DataWorks數倉開發概述 |
|
Hologres Client |
HoloClient是在JDBC基礎上自研的開發接口,可實現自動攢批、自動路由分區、消費Binlog等功能,滿足業務的高性能大批量數據寫入、高QPS點查和維表關聯場景。 |
通過Holo Client讀寫數據 |
|
JDBC/ODBC |
Hologres提供標準JDBC/ODBC接口,可實現應用低成本直連Hologres。 |
JDBC |
|
PSQL/PGAdmin客戶端 |
Hologres兼容PostgreSQL,可以直接連接PG標準客戶端,如PSQL、PGAdmin等客戶端。 |
PSQL客戶端 |
|
Flink、Spark等Connector |
Hologres提供多種數據寫入Connector,與Flink、Spark等計算框架原生集成,通過內置Connector,支持大數據實時寫入與更新。 |
數據同步概述 |
|
BI分析工具 |
可與多種BI工具如Quick BI、Tableau、Datav等無縫對接,實現數據的高性能分析。 |
BI分析及可視化概述 |
|
數據同步 |
Flink實時寫入與讀取 |
1.Hologres作為Flink結果表,實現直接實時寫入、(整行、局部)更新寫入Hologres;2.Hologres作為Flink維表,實現高性能Flink維表關聯查詢。3.Hologres可作為Flink源表,實現CDC讀取、全增量讀等。滿足一站式實時數倉建設。 |
|
Kafka實時寫入 |
提供多種方式將Kafka數據投遞至Hologres,包括Flink寫入、DataWorks數據集成寫入以及Hologres Connector等。 |
Kafka通過DataWorks實時同步 |
|
MySQL、PostgreSQL等數據庫整庫實時同步 |
通過DataWorks數據集成可以實現MySQL、PostgreSQL等數據庫的數據全量離線以及增量實時同步至Hologres。 |
MySQL分庫分表實踐 |
|
Spark寫入Hologres |
可以通過Hologres Connector實現Spark寫入Hologres,以及讀取Hologres,完整數倉開發鏈路。 |
Spark的數據寫入至Hologres |
|
SLS日志數據實時寫入Hologres |
可以通過Flink、DataWorks數據集成等方式將SLS日志服務的數據實時寫入Hologres。 |
日志服務數據同步至Hologres |
|
MySQL等數據庫數據離線寫入 |
可以通過DataWorks數據集成將MySQL等數據庫數據離線單表、整庫同步到Hologres。 |
數據庫中的數據離線同步至Hologres |
|
本地文件 |
可以通過COPY命令行將本地數據一鍵寫入Hologres。 |
使用COPY命令導入或導出本地數據 |
|
OSS數據湖 |
在Hologres中可以創建OSS外表,實現OSS數據湖數據加速,也可以將OSS數據導入到Hologres進一步分析,實現湖倉一體。 |
OSS數據湖加速 |
|
MaxCompute |
在Hologres中可以創建MaxCompute外表,加速離線數據查詢,也可以通過SQL方式將MaxCompute數據離線導入至Hologres,實現進一步的數倉快速查詢,滿足BI分析等業務。 |
通過創建外部表加速查詢MaxCompute數據 |
|
Holo shipper |
提供實例、表級別的數據同步至Hologres。 |
遷移工具Holo Shipper |
|
安全&合規 |
RAM權限管理 |
提供RAM賬號的授權與訪問控制。 |
授予RAM用戶權限 |
專家和簡單權限模型 |
支持專家、簡單權限模型,滿足企業對表、庫以及實例的多重細粒度權限控制。 |
Hologres權限模型 |
|
數據脫敏 |
可實現對指定用戶、指定表按照一定的規則脫敏,滿足對數據的高度保護。 |
數據脫敏 |
|
IP白名單 |
可設置指定IP指定用戶訪問實例,提升實例的安全性。 |
IP白名單 |
|
數據存儲加密和讀取MaxCompute加密數據 |
Hologres支持通過密鑰管理服務KMS對數據進行加密存儲,提供數據靜態保護能力,滿足企業監管和安全合規需求。 也支持讀取Maxcompute加密數據。 |
數據加密 |
|
傳輸加密 |
可通過SSL在傳輸層對網絡連接進行加密,提升通信的安全性和完整性。 |
傳輸加密(Beta) |
|
數據血緣 |
Hologres通過DataWorks,可以基于解析調度作業等真實數據的流轉情況,得出表、字段之間的血緣關系,滿足數據治理需求。 |
數據血緣(Beta) |
|
數據地圖 |
可以通過DataWorks數據地圖提供企業數據目錄的管理功能,支持元數據詳情查看、數據類目管理等。 |
數據地圖(Beta) |
|
操作事件日志 |
Hologres支持通過阿里云操作審計ActionTrail的控制臺、OpenAPI、開發者工具等,查詢90天內的實例操作事件日志,以完成對事件的審計和問題回溯分析等。 |
查詢事件日志 |
|
管理&運維 |
自助升級 |
用戶可以在管控臺實現自助升級,提升運維操作方便性。 |
實例升級 |
云監控 |
提供數十種監控指標,對接云監控,全面了解實例資源使用、業務運行等情況,及時收到異常告警并響應,保證業務持續正常運行。 |
云監控 |
|
慢Query日志Query Log |
慢Query的查詢與分析可以幫助您對系統中發生的慢Query或失敗Query進行診斷、分析和采取優化措施。 |
慢Query日志查看與分析 |
|
表統計信息日志Table info |
提供表統計信息日志系統表table_info按日收集實例內表的統計信息,幫助對實例中的表信息進行查看、分析,以便根據這些信息采取優化措施。 |
表統計信息查看與分析 |
|
備份與恢復 |
支持自動周期備份和手動備份,以便您在某些場景下,例如數據誤操作時,恢復歷史數據。 |
備份與恢復 |
|
數據湖加速分析 |
通過DLF讀取OSS數據 |
Hologres通過與DLF、OSS無縫集成,以外部表的方式,無需移動數據(外表只做字段映射,不真正存儲數據),就能直接加速讀寫存儲于OSS上的各種格式類型的數據,降低開發運維成本,打破數據孤島,實現業務洞察。 |
OSS數據湖加速 |
基于OSS-HDFS構建數據湖 |
對于存儲在OSS-HDFS上的數據,Hologres通過DLF實現元數據管理,通過JindoSDK實現數據的直接訪問以及回寫,回寫目前僅支持ORC、Parquet、CSV及SequenceFile格式的表。 |
基于OSS-HDFS構建數據湖 |
|
高可用部署 |
單實例Shard級多副本 |
提供實例內部的Shard級多副本能力,通過設置Table Group副本數的方式來提高某個Table Group查詢并發能力和可用性。 |
單實例Shard級多副本 |
主從實例讀寫分離(共享存儲) |
針對線上生產環境高可用的場景,提供了共享存儲的主從多實例部署方式,在該模式下支持故障隔離,負載隔離,有效支撐了高可用場景。 |
主從實例讀寫分離部署(共享存儲) |
|
計算組實例 |
計算組實例是主從實例的升級模式,支持將計算資源分解為不同的計算組(Virtual Warehouse),計算組獨立彈性可擴展(彈性分配、按需創建),計算組之間共享數據、元數據,通過計算組可同時支撐讀寫分離、資源隔離、業務隔離等諸多場景,對用戶提供資源隔離、彈性等核心能力。 |
計算組實例快速入門 |