本文為您介紹如何在DLF控制臺使用Paimon的過期分區清理功能,Catalog、數據庫和數據表均支持過期分區清理,以下操作以Catalog為例。
前提條件
使用存儲優化功能前,需要先開通存儲優化服務,并添加計算資源。詳情請參見存儲優化。
啟用過期分區清理
登錄數據湖構建控制臺。
在Catalog列表頁面,單擊Catalog名稱。
單擊存儲優化頁簽,單擊PartitionExpire策略旁的按鈕。
再次單擊按鈕,可停用過期分區清理。
在彈出的對話框中,配置以下信息。
分區保留時間:必填,需要大于等于1,單位為天。
過期時間判斷依據:必選,可選分區值、分區更新時間。
時間戳格式和模式:選擇分區值時,參數必填,例如yyyy-MM-dd和$dt、yyyy-MM-dd HH:mm和$dt $hm,$dt和$hm為列名。
選擇計算資源。
單擊確定。
說明
Catalog下的數據庫可以選擇繼承Catalog的策略,也可以獨立配置策略。
數據庫下的數據表可以選擇繼承數據庫的策略,也可以獨立配置策略。
策略執行與調度
在Catalog列表頁面,單擊Catalog名稱。
在存儲優化頁簽,單擊立即執行,可以立即執行一次過期分區清理。
也可單擊調度配置,配置調度周期、調度時間、生效日期,周期性執行過期分區清理。
優化效果展示
說明
在Catalog、數據庫和數據表下,分別展示的是Catalog下所有表、數據庫下所有表和當前表的優化效果。
在Catalog列表頁面,單擊Catalog名稱。
在存儲優化頁簽,可以查看優化效果,包括已清理分區對應存儲量、已清理分區個數和已清理文件個數。
執行歷史展示
說明
只會展示當前Catalog、數據庫和數據表的過期分區清理執行歷史。
在Catalog列表頁面,單擊Catalog名稱。
在存儲優化頁簽,可以查看最新執行歷史。
文檔內容是否對您有幫助?