本文為您介紹Hologres產品功能的發布信息。
Hologres V3.0版本(2024年09月)
2024年09月正式發布Hologres V3.0版本,新增功能如下:
引擎能力增強
重磅發布Dynamic Table,支持全量刷新和增量刷新兩種模式,數據自動流轉,自動刷新,解決實時數倉分層、流批一體等強需求,滿足不同時效性數據分析需求。
Serverless Computing能力升級,支持SELECT、COPY等場景。對于臨時大查詢,提供云原生的資源使用方案。詳情請參見Serverless Computing使用指南。
計算組支持分時彈性(Beta),支持計算資源按時彈性,滿足不同時段的差異化資源需求,避免相互干擾,更大化提高資源使用率。詳情請參見計算組分時彈性(Beta)。
支持查詢隊列:
根據業務需求創建查詢隊列,并設置隊列的并發度和隊列長度,提升實例穩定性。
提升大查詢治理能力,支持為隊列設置大查詢的超時時間,減少對實例的影響,并支持大查詢使用Serverless Computing資源重跑大查詢。
支持使用Serverless Computing執行查詢隊列的全部查詢。詳情請參見使用Serverless Computing資源執行查詢隊列的查詢。
支持對分區父表執行INSERT OVERWRITE。詳情請參見INSERT OVERWRITE。
支持存儲過程(Beta),定義常用SQL,簡化業務復雜度。詳情請參見存儲過程(Beta)。
Schema Evolution能力增強,支持修改列的數據類型。詳情請參見ALTER TABLE。
查詢引擎能力增強,支持Cross Join提升在非等于條件下JOIN的查詢性能。同時支持Partial Agg,在GROUP BY Key較多時,可以限制內存,降低OOM的概率。詳情請參見EXPLAIN和EXPLAIN ANALYZE和OOM常見問題排查指南。
存儲引擎能力增強,提升了當Segment Key設置了非順序寫入列時,列存表的更新性能。
函數能力增強:
運維&穩定性改善
聯合SLS推出SQL審計,用于對數據庫活動進行監控、記錄和分析,以確保數據安全和遵從相關政策。詳情請參見CloudLens for Hologres。
計算組擴容能力增強,支持擴容期間讀寫不中斷。詳情請參見計算組管理和計算組分時彈性(Beta)。
支持將小于100ms的DML和查詢以聚合方式記錄在Query Log系統表中,提升SQL觀測和分析能力。詳情請參見慢Query日志查看與分析。
湖倉一體
新增External Database功能,支持DLF、MaxCompute等數據源的Catalog級別元數據映射,提升數據湖的元數據和數據管理能力。
支持對接Hive MetaStore映射元數據,透明加速EMR集群。詳情請參見基于Hive Metastore訪問OSS數據湖數據(Beta)。
支持使用INSERT INTO方式寫入Paimon Append Table。
支持讀取Iceberg湖格式,進一步擴展數據湖生態。
安全能力增強,默認使用SLR透傳身份訪問DLF2.0,同時支持以RAMRole的方式訪問DLF2.0。
表格能力增強。
重構Delta Lake格式的Reader,讀取性能大幅提升。
支持Paimon Deletion Vector優化,提升存在大量數據刪除,但是未及時Compaction時的查詢性能。
行為變更
SQL Hint,完成Beta階段,生產可用,默認開啟。
COPY在元倉中的記錄由1條變為2條。詳情請參見COPY。
從Hologres V3.0.10版本起,計算組實例每個計算組的規格上限由512 CU增加至1024 CU。
Serverless Computing功能正式商業化(2024年07月)
Hologres Serverless Computing功能完成Beta階段,生產可用,并承諾SLA,于北京時間2024年07月01日正式商業化,費用詳情請參見用量與計費,Serverless Computing詳情請參見Serverless Computing概述,Hologres SLA詳情請參見實時數倉Hologres服務等級協議(SLA)。
Hologres V2.2版本(2024年04月)
2024年04月正式發布Hologres V2.2版本,新增功能如下:
引擎能力增強
引擎底層能力持續優化,整體性能相比之前版本提升約15%。專注于向量執行引擎(Hologres Query Engine,HQE)和優化器(Query Optimizer,QO)的持續演進,其中:
向量執行引擎HQE能力優化,在如下場景中性能得到提升:
Runtime Filter能力增強,支持Shuffle Join場景,Runtime Filter場景的查詢效率提升約30%。
優化HQE的RPC連邊機制,每個Worker內數據先合并再進行Worker間分發,顯著降低網絡開銷,在帶有Shuffle的場景上,查詢性能提升8%。
優化器QO性能優化,SQL在Plan階段的處理速度提升40%:
優化內存分配機制和Join算法,提升多Join場景的查詢性能。
優化DATE_PART函數行為,提升對帶有時間屬性的字段(如年份)的查詢效率。
優化DATE和TIMESTAMP類型字段的比較行為,提升時間字段的查詢效率。
優化復雜函數中帶有Filter的運算行為,通過調整多個Filter的順序,減少數據計算量,提升查詢效率。
推出Serverless Computing,可以將指定的數據導入或ETL等長周期作業運行在共享的Serverless資源池中,減少實例內部的任務競爭和相互干擾,提升實例穩定性(僅部分Region支持)。詳情請參見Serverless Computing使用指南。
計算組(Virtual Warehouse)實例支持寫入計算組的自動路由,無需手動指定計算組,系統自動路由,降低執行寫入操作時計算組的使用難度。詳情請參見計算組Table Group授權管理。
動態分區Auto Partition支持自定義分區創建時間或刪除時間,以及自定義冷存表搬遷時間,提升動態分區的易用性。詳情請參見動態分區管理。
支持SQL Hint語法,通過Hint改變SQL的執行方式,從而實現對SQL進行細粒度的執行優化。詳情請參見HINT。
hg_stat_activity功能優化,提供更精準的CPU、Memory指標,并支持查看MaxCompute數據導入Hologres的進度,顯著提升活躍Query的可觀測能力。詳情請參見Query管理。
新增路徑分析函數,可分析每個路徑節點的節點流量、耗時情況,進一步幫助業務分析產品運營策略,優化產品設計思路。詳情請參見路徑分析函數。
函數能力增強:
運維&穩定性改善
支持SQL指紋并上報慢Query日志,可通過對SQL指紋的聚類分析,提升問題定位和異常監控能力。詳情請參見慢Query日志查看與分析。
透出QE、FixedQE、Binlog等監控指標,提升業務的觀測性和可運維能力。
HoloWeb支持Query洞察,一鍵查詢獲取Query執行信息、表的元數據信息、鎖排查等,進一步提升問題排查效率。詳情請參見Query洞察。
支持跨AZ容災,提升實例的災備能力(僅部分Region支持)。
計算組擴容后做Rebalance時,系統自動對查詢(SELECT)類Query進行重試,降低業務影響,提升在線服務的穩定性。詳情請參見計算組管理。
優化引擎錯誤碼和報錯信息,提升慢Query日志分析效率。詳情請參見Hologres SQL語句的常見問題。
優化DDL duration計算邏輯,提升DDL操作執行時間的采集準確性。
支持在慢查詢日志中記錄EXPLAIN ANALYZE結果,詳細記錄每個算子的運行時數據。
版本升級技術底層優化,使用新一代的Physical Restore技術,在元數據較多時大幅縮短升級耗時,降低升級對業務的影響。
FE節點表鎖機制升級為短鎖,有效解決DDL卡住、以及FE節點元數據不一致出現異常報錯等問題,提升FE節點元數據的穩定性和一致性。
OpenAPI能力升級,新增計算組、數據湖加速、資源組等接口,提升實例運維管理能力。詳情請參見API概覽。
生態拓展
外部表自動加載(Auto Load)功能支持MaxCompute三層模型,可使用
hg_experimental_auto_load_foreign_schema_mapping
參數指定Schema映射關系;支持MaxCompute外部表Schema Evolution,如增加列、刪除列、修改列名及列順序。詳情請參見外部表自動加載(Auto Load)。外部表自動加載(Auto Load)功能支持通過DLF元數據自動加載,加速查詢存儲于OSS上的表。詳情請參見外部表自動加載(Auto Load)。
數據湖架構升級,ORC、Parquet格式外部表支持使用內置高速磁盤和內存實現多級緩存,并支持謂詞下推過濾,大幅提升讀取性能。
支持通過服務關聯角色訪問MaxCompute外部表,以更好地配置云服務所需權限,避免誤操作帶來的風險,可通過Hologres管理控制臺一鍵授權服務關聯角色。詳情請參見Hologres服務關聯角色。
支持通過HoloWeb可視化訪問OSS數據和MaxCompute三層模型指定的Schema下的表。詳情請參見創建OSS外部表和創建MaxCompute外部表。
行為變更
Hologres從V2.2版本開始,Fixed Plan鏈路在慢Query日志中的Engine Type名稱由SDK更換為FixedQE,與監控指標的FixedQE對齊。
Hologres從V2.2版本開始,單個Frontend節點連接數由128個增加到256個,總連接數也因此增加了一倍。詳情請參見實例規格概述。
INSERT OVERWRITE和BSI函數已完成Beta階段,生產可用。
Hologres從V2.2版本開始,
SELECT hg_dump_script()
語句返回的建表屬性由CALL語法變更為WITH語法,有效提升建表便捷性和可閱讀性,詳情請參見查看表結構。
Hologres V2.1版本(2023年10月)
2023年10月正式發布Hologres V2.1版本,新增功能如下:
引擎能力增強
針對單條以及多條 COUNT DISTINCT 在運行時自動性能優化,顯著提升 COUNT DISTINCT 場景的查詢效率,詳情見Count Distinct優化。
查詢優化器新增Row Group Filter機制,針對列存表,同一列的多行數據組成Row Group,并且記錄每個Row Group的max/min值,在查詢過濾對應列時,可以在不讀取數據的情況下對Row Group過濾,顯著降低查詢開銷,提升查詢性能。
優化Runtime Filter能力,支持多列Join場景,顯著提升Join效率,詳情見Runtime Filter。
新增手動觸發Full Compaction能力,合并小文件,提升查詢效率,詳情見Compaction(Beta)
新增區間漏斗分析函數,用于分析用戶活動的轉化情況和轉化情況的對比,詳情見漏斗函數。
新增Bit-Sliced Index(BSI)擴展庫,優化高基數標簽場景、用戶屬性標簽與行為標簽聯合查詢的性能與易用性,詳情見BSI函數及畫像分析 - BSI優化方案(Beta)。
聚簇索引Clustering Key支持設置降序排列,在排序場景下利用聚簇索引,提升查詢性能,詳情見聚簇索引Clustering Key。
優化低頻訪問存儲的緩存機制,提升低頻訪問存儲的查詢性能,詳情見數據分層存儲。
新增CREATE TABLE WITH、ALTER TABLE SET語法,替代原有 set_table_property 語法,簡化表屬性設置過程,詳情見CREATE TABLE。
優化無主鍵表寫入能力,無主鍵表批量寫入不產生表鎖,改為行鎖,可以與Fixed Plan同時進行,詳情見鎖以及排查鎖。
Proxima向量計算支持先建表并導入向量數據、再創建向量索引,縮短索引創建時間,簡化向量計算使用,詳情見Proxima向量計算。
函數能力增強:
支持若干數組函數運行在HQE,提升函數性能,詳情見函數功能發布記錄。
新增KeyValue函數,實現字符串的拆分,詳情見KeyValue函數。
新增IF函數,簡化類型檢測場景,降低MySQL遷移成本,詳情見IF。
運維&穩定性改善
慢查詢能力增強,提升用戶分析慢查詢的效率,詳情見慢Query日志查看與分析。
支持在慢查詢日志中記錄EXPLAIN ANALYZE結果,詳細記錄每個算子的運行時數據。
Fixed Plan診斷能力增強,寫入場景affected_rows數據上報元倉,查詢場景result_rows、result_bytes數據上報元倉,詳情見Fixed Plan加速SQL執行。
新增hg_relation_size函數,用于查詢的表占用的存儲明細,詳情見查看表和DB的存儲大小。
兼容原生PostgreSQL行為,支持負載均衡,實現在主從架構場景下的負載均衡和故障自動轉移,提升服務可用性。詳情見基于JDBC的負載均衡。
OpenAPI能力升級,新增創建實例、實例續費、實例變配、釋放實例接口,提升實例運維管理能力,詳情見API概覽。
生態拓展
數據湖加速支持Paimon格式存儲,詳情見OSS數據湖加速。
行為變更
變更消費Hologres Binlog的權限要求,僅需目標表的讀權限,詳情見通過JDBC消費Hologres Binlog。
bulkload導入到Holgores內表,內表在沒有設置distribution key的情況下,有概率出現導入性能下降。
更多行為變更,參考默認行為變更說明
計算組實例發布(2023年6月)
2023年06月發布計算組(Virtual Warehouse)實例,支持單實例內部多種負載隔離,支持讀寫隔離,寫寫隔離,讀讀隔離,支持彈性熱擴縮,支持流量靈活切換,提供多場景、多團隊靈活的數據共享與計算資源隔離需求,滿足企業級關鍵業務的隔離需求,參考文檔計算組實例架構。
Hologres V2.0版本(2023年4月)
2023年04月正式發布Hologres V2.0版本,新增功能如下:
引擎能力增強
新增Runtime Filter,優化join過程中的過濾行為,減少數據掃描量,降低IO開銷,典型多表關聯場景中,有20%以上性能提升,詳情請參見Runtime Filter。
查詢引擎新增Lazy Create Fragment Instance機制,對于大表查詢(常見預覽場景)limit N場景,降低查詢開銷,顯著改善查詢性能。
全面優化執行計劃展示格式(Explain & Explain Analyze),改善可閱讀性,簡化SQL性能優化手段,詳情請參見EXPLAIN和EXPLAIN ANALYZE。
優化分布式事務能力,新增支持多條DML混合事務場景,詳情請參見SQL事務能力。
支持Drop Column,詳情請參見刪除列(Beta)。
支持CREATE TABLE AS語法,簡化表結構迭代優化場景,詳情請參見CREATE TABLE AS。
支持流式COPY,無需攢批,寫入吞吐更高,詳情請參見COPY。
支持在JSONB列式存儲優化中設置Bitmap索引,加速等值過濾場景,詳情請參見列式JSONB。
支持將DATE類型設為主鍵及分區表分區鍵,詳情請參見CREATE PARTITION TABLE,優化分區剪裁,當分區字段IN Array的長度超過閾值(默認100)同樣支持分區裁剪。
更多引擎內部優化:
存儲引擎優化Tablet Lazy Open機制(主從實例均支持):超過24小時無訪問的表自動關閉內存開銷,當打開表的數據量超過閾值時基于LRU策略動態選取對應Tablet進行關閉,降低表多場景下的常駐內存開銷。
存儲引擎優化Schema存儲管理機制,統一通過Meta Tablet存儲管理,降低表多、Shard多場景下Schema常駐內存開銷,降低資源開銷。
存儲引擎優化快速恢復能力,支持在部分表常規恢復有問題時以修復模式啟動快速恢復。元數據管理默認支持邏輯恢復能力,在分區數多的場景下有效縮短恢復時間,在數萬分區場景下,有5倍以上的提速恢復效果。
函數能力增強:
支持更多函數運行在HQE,提升函數性能,詳情請參見函數功能發布記錄
重構Table Function函數支持框架,支持generate_series(INT、BIGINT、NUMERIC)運行在HQE。
重構PQE函數支持框架,支持left、right、text::timestamp、timestamp::text運行在HQE。
新增數組函數,支持array_max、array_min、array_contains、array_except、array_distinct、array_union函數,詳情請參見數組(ARRAY)函數。
新增聚合函數max_by與min_by,簡化窗口類排序操作,詳情請參見MAX_BY與MIN_BY。
運維&穩定性改善
在pg_stat_activity基礎上,推出hg_stat_activity,兼容原有用法,同時極大豐富運行時診斷信息,增加執行階段,執行引擎類別,資源使用,運行時鎖等信息,詳情請參見查詢hg_stat_activity視圖信息。
完善Shard級Replica能力完成,支持單實例內高可用及負載均衡擴吞吐場景,可容忍部分機器故障及熱點不均衡問題,詳情請參見單實例Shard級多副本。
重構Auto Analyze能力,采用分布式Auto Analyze,支持外表Auto Analyze,支持湖倉加速集群Auto Analyze,支持分區表增量Auto Analyze,解決超大表,超寬列Analyze失敗等問題,顯著減少表缺少統計信息場景,執行計劃更穩定,性能消耗更低,更穩定。
優化存儲加密配置,支持靈活的單表加密配置,詳情請參見表級別存儲加密設置。
優化數據血緣機制,支持在DataWorks中對MaxCompute和Hologres跨引擎血緣分析,支持CTE等表達式的血緣解析,詳情請參見數據血緣。
新增管控OpenAPI,靈活控制實例生命周期。詳情請參見API概覽。
生態拓展
升級針對MaxCompute外表的查詢加速引擎,改善兼容性與穩定性。
湖倉加速場景中,在集成數據湖DLF元數據管理下,支持使用DLF數據目錄(Multi-Catalog)做元數據隔離,方便在測試環境、開發環境、跨部門集群之間做元數據隔離,詳情請參見OSS數據湖加速。
湖倉加速場景中,支持加速存儲于OSS-HDFS(又名JindoFS)上的數據,可以更好地滿足大數據Hadoop生態和AI等領域的數據湖計算場景,詳情請參見基于DLF訪問OSS-HDFS數據湖數據。
新增ClickHouse兼容函數,簡化數據和作業遷移場景,詳情請參見從ClickHouse導入。
行為變更
列存不再支持Segment存儲格式,有Segment格式的實例暫不支持升級到V2.0及以上版本,可以通過工具函數hg_convert_segment_orc完成批量格式轉換,詳情請參見更改列存表的數據存儲格式。
為避免誤用Table Group造成資源浪費,從V2.0開始限制單Table Group及實例級別總Shard數上限,詳情請參見Table Group與Shard Count操作指南。
DataHub寫入不再支持SDK(遺留)模式,全面轉為JDBC模式,新模式更穩定,支持數據類型更豐富。
默認裝載Binlog擴展,JDBC消費時,無需手動創建相關擴展。通過JDBC消費Binlog,WAL Sender數量配額默認增加10倍,從200 Slot/32C擴大至2000 Slot/32C,完成Beta階段,生產可用,詳情請參見通過JDBC消費Hologres Binlog。
更多行為變更,參考默認行為變更說明
Hologres V1.3版本(2022年7月)
2022年07月正式發布Hologres V1.3版本,新增功能具體如下:
引擎能力增強
支持實時物化視圖,提升實時聚合場景查詢效率(Beta),詳情請參見SQL管理物化視圖。
JSONB存儲優化,通過采用列式存儲優化,顯著提高查詢統計的效率,提高數據壓縮效率,詳情請參見JSON和JSONB類型。
支持分區表動態分區管理,支持自動創建與刪除分區子表,詳情請參見CREATE PARTITION TABLE。
新增UNIQ精確去重函數,顯著提高去重計算效率,優化多Count Distinct場景,節省內存消耗,詳情請參見優化查詢性能。
引擎優化。
支持符合FixedPlan情況的Insert語句直接寫入分區表父表,詳情請參見INSERT和Fixed Plan加速SQL執行。
支持聚合表達式過濾能力,支持
string_agg()
和array_agg()
過濾,詳情請參見類型轉換函數。支持RowType,支持
row()
、row_to_json()
等函數,詳情請參見類型轉換函數。支持修改表所在的Schema,詳情請參見ALTER TABLE。
支持CTE Reuse算子,提升
with
表達式運算效率,詳情請參見優化查詢性能。
支持讀取MaxCompute三層模型(project.schema.table),詳情請參見CREATE FOREIGN TABLE和IMPORT FOREIGN SCHEMA。
支持讀寫MaxCompute Transactional類型表,支持讀取MaxCompute Schema Evolution狀態表(在MaxCompute側執行過刪除列、修改列順序,修改列類型操作的表),支持Array、Date類型回寫 ,詳情請參見基于Foreign Table加速查詢MaxCompute數據和導出至MaxCompute。
運維能力和穩定性改善
支持自助配置共享存儲從實例,優化彈性和高可用 ,詳情請參見多實例讀寫分離高可用部署(共享存儲)。
新增元倉表table_info,提升數據治理能力,詳情請參見表統計信息查看與分析。
持續內存優化,減小元數據內存占用。
生態拓展
生產級支持PostGIS擴展能力 ,詳情請參見PostGIS空間函數。
支持Oracle擴展包,新增眾多兼容函數,詳情請參見Oracle兼容函數。
支持通過DLF讀取Hudi、Delta格式外部表,支持通過DLF寫入CSV、Parquet、SequenceFile、ORC格式數據至OSS外部表,詳情請參見OSS數據湖加速。
改善BI兼容性,在Tableau兼容性測試中(TDVT)通過率提升至
99%+
。
行為變更
行為變更請參見默認行為變更說明。
Hologres V1.1版本(2021年10月)
2021年10月正式發布Hologres V1.1版本,新增功能具體如下:
運維能力改善
新增資源組隔離能力(Beta),通過設計多個資源組,實現實例內部不同用戶的計算資源線程級負載隔離,可以更好地支撐多用戶、多場景的使用方式。詳情請參見單實例計算資源隔離(Beta)。
支持Hologres實例在線熱升級,升級期間,讀(查詢)數據不受影響,升級版本時可以加入實時數倉Hologres交流群申請使用熱升級,加群方式請參見如何獲取更多的在線支持?。
引擎能力增強
支持將表設計為行列共存結構,一份數據同時支持點查、OLAP多種查詢場景,詳情請參見CREATE TABLE。
支持JDBC實時消費Hologres Binlog(Beta),詳情請參見通過JDBC消費Hologres Binlog。
支持Hologres Binlog按需啟用,配置動態修改,詳情請參見訂閱Hologres Binlog。
支持重命名列名稱,詳情請參見ALTER TABLE。
新增JSONB索引(Beta),加速JSON類型數據的查詢檢索。詳情請參見JSON和JSONB類型。
優化內存中元數據管理機制,增加元數據緩存與壓縮,更有效率的管理內存。
外表能力優化
支持通過DLF讀取 CSV、Parquet、SequenceFile、ORC格式的OSS數據。詳情請參見OSS數據湖加速。
支持Hologres跨庫查詢,支持Hologres多實例聯邦查詢。詳情請參見跨庫查詢(Beta)。
安全增強
支持Hologres內部表數據存儲加密(Beta),提升數據訪問安全能力,詳情請參見數據存儲加密。
支持讀MaxCompute加密數據(Beta),豐富Hologres兼容MaxCompute生態。詳情請參見查詢MaxCompute加密數據(BYOK模式)。
行為變更說明
Auto Analyze能力,在Hologres V1.1版本中轉為默認開啟。
Hologres新引擎直讀MaxCompute,在V1.1版本中轉為默認開啟。
Resharding函數完成Beta,相關函數名更新。
更多行為變更,請參見默認行為變更說明。
Hologres V0.10版本(2021年5月)
2021年5月正式發布Hologres V0.10版本,新增功能具體如下:
引擎增強
支持自動采集表的統計信息:數據寫入更新時自動采樣表的統計信息,以便生成更優的Query Plan,不再需要手工執行Analyze Table。詳情請參見ANALYZE和AUTO ANALYZE。
支持點查(Key/Value)場景的毫秒級高可靠(Beta):支持Shard級別多副本配置,支持毫秒級主副本切換和查詢重試,顯著提高服務場景下的高可靠能力。詳情請參見單實例Shard多副本高吞吐(Beta)。
新增RoaringBitmap擴展,原生支持Bitmap數據類型及相關函數。詳情請參見RoaringBitmap函數。
新增bit_construct和bit_match函數:針對圈人、歸因等場景進行優化,支持更高效率的基于userid的聚合條件過濾。詳情請參見明細圈人函數。
新增range_retention_count和range_retention_sum函數:針對留存場景優化多天范圍查詢。詳情請參見漏斗函數。
新增Resharding工具:內置Resharding函數,修改Shard數無需重新建表,簡化調優過程。詳情請參見Table Group與Shard Count操作指南。
優化列存默認采用AliORC壓縮格式,存儲壓縮比提高30%~50%。詳情請參見更改列存表的數據存儲格式。
外表查詢功能
MaxCompute外部表查詢性能提升(Beta):全新外部表加速引擎,相比之前版本,查詢性能約有 30% ~ 100%的提升。詳情請參見優化MaxCompute外部表的查詢性能。
新增集成DLF(Beta):通過DLF讀取OSS數據。詳情請參見OSS數據湖加速。
性能優化
點查性能提升:行存總吞吐提升100%,列存總吞吐提升30%。
更新操作優化:Update/Delete優化,性能提升30%。
Query Plan緩存:優化Query Plan Cache,降低優化器耗時。
企業級運維與安全優化
慢查詢透出,內置查詢狀態歷史,可以查詢一個月內所有查詢的狀態,快速定位慢查詢,失敗查詢。詳情請參見慢Query日志查看與分析。
Hologres V0.9版本(2021年1月)
2021年1月正式發布Hologres V0.9版本,新增功能具體如下:
引擎增強
數據類型豐富。
時間類型:interval、timetz、time
網絡類型:inet
貨幣類型:money
PG系統類型:name、uuid、oid
其他:bytea、bit、varbit
詳情請參見數據類型匯總。
函數類型豐富,包括兼容PG的函數和Hologres擴展函數。
數組函數:新增array_length和array_positions。詳情請參見數組(ARRAY)函數。
查看表和DB存儲大小的函數:pg_relation_size和pg_database_size,詳情請參見查看表和DB的存儲大小。
支持通過Hologres SQL命令語句將Hologres數據導出至MaxCompute,實現數據歸檔。詳情請參見導出至MaxCompute。
支持Hologres Binlog 訂閱(Beta),詳情請參見訂閱Hologres Binlog。
支持動態修改表bitmap索引和字典編碼,支持根據數據特征自動創建字典編碼。詳情請參見ALTER TABLE。
發布Hologres Client Library,適用于大批量離線、實時數據同步至Hologres以及高QPS的點查場景,實現自動攢批,提高吞吐,詳情請參見Holo Client。
優化JDBC寫入鏈路和查詢優化器,顯著提升引擎寫入效率。
BI生態連通友好性提升,支持Tableau Server,Superset等更多BI工具,滿足多種業務分析需求。
安全增強
支持STS賬號通過角色的方式登錄Hologres,實現除云賬號外等更安全更多元的賬號登錄體系,詳情請參見RAM角色授權模式。
Hologres V0.8版本(2020年10月)
2020年10月正式發布Hologres V0.8版本,新增功能具體如下:
引擎增強
支持通過
CREATE VIEW
語句創建視圖。您可以基于一張表、多張表(包含內部表和外部表)或者其他視圖創建視圖,詳情請參見VIEW。新增SERIAL、DATE、TIMESTAMP、VARCHAR(n)及CHAR(n)數據類型。同時,MaxCompute外部表數據支持Array類型映射,詳情請參見數據類型匯總。
支持
INSERT ON CONFLICT
功能,您可以根據主鍵配置,在插入數據時更新或跳過重復數據,詳情請參見INSERT ON CONFLICT(UPSERT)。支持
TRUNCATE
功能。內置Proxima向量檢索引擎,支持海量數據向量檢索功能,該功能目前處于Beta版本,詳情請參見Proxima向量計算。
安全增強
MaxCompute外部表查詢約束與限制
查詢MaxCompute分區表時,掃描分區數的最大值為512個(0.8之前版本為50個)。
每個查詢中,最大的底層數據掃描量為200GB(與外部表的數量以及字段數無關,0.8之前版本為100GB)。
更多內容請參見約束和限制。