功能分類

功能更新說明

元數據管理

• Catalog管理：支持創建和管理Hive Catalog

• 數據庫管理：支持Hive Catalog下創建數據庫、管理庫列表和庫詳情。

• 表管理：

  • 支持Hive Catalog下創建表、管理表列表和表詳情。

  • 支持Paimon Catalog外表讀取外部數據源。

• 支持Paimon Catalog視圖，降低查詢的復雜度。

• 支持Paimon Catalog文件目錄（Volume）

  • 支持Paimon ObjectTable管理用戶文件元數據

權限管理

• 支持Hive Catalog權限開關

• 支持Hive Catalog數據權限配置和OpenAPI權限配置

數據存儲

• Hive Catalog支持納管存儲。

  • 可為用戶代理創建全新OSS-HDFS Bucket。

  • 支持用戶存量OSS-HDFS/OSS Bucket。

功能分類

功能更新說明

完成OpenLake解決方案對接

支持EMR Serverless Spark、EMR Serverless StarRocks、實時計算Flink版、MaxCompute、Hologres、DataWorks、PAI、OpenSearch產品的集成。

元數據管理

• Catalog管理：創建Paimon Catalog、Catalog列表管理、Catalog詳情。

• 數據庫管理：創建數據庫、庫列表管理、庫詳情。

• 表管理：創建表、表列表管理、表詳情。

權限管理

• 用戶管理：

  • RAM用戶或RAM角色列表。

  • DLF角色管理包括admin（數據湖管理員）、super_administrator（超級管理員），以及DLF自建角色。

• 數據權限配置：

  • Catalog、數據庫、表權限配置。

  • 資源Owner配置。

  • 粗粒度數據權限配置（RAM Policy）。

• OpenAPI權限配置：RAM Policy配置。

數據存儲

• 支持DLF托管存儲。

  • 無需額外開通和購買OSS存儲。

• 完全的權限管控

  • 避免直接訪問存儲，繞過權限配置。

存儲分析

• 元數據和存儲使用量及趨勢：

  • 存儲量及趨勢。

  • 庫、表、API訪問數量及趨勢。

• 元數據和存儲使用情況排名：

  • 庫、表、API訪問數量及趨勢。

  • 庫、表存儲排名。

• 存儲分布情況：

  • 表小文件數量排名。

  • 存儲分層分布。

  • 存儲格式分布。

  • 文件大小分布。

存儲優化

• 存儲優化：

  • 支持Compaction、過期快照清理、過期分區清理、廢棄文件清理存儲優化策略。

  • 支持啟用或停用策略。

  • 支持庫表策略繼承。

  • 優化任務調度配置。

  • 立即執行優化任務。

  • 優化任務策略配置。

  • 查看執行效果。

  • 查看最近執行歷史。

• 計算資源配置：

  • 新增計算資源。

  • 管理計算資源列表。

  • 連通性測試。