湖格式管理
本文主要介紹湖格式管理中的自動(dòng)化湖管理策略。
功能介紹
湖格式管理主要提供自動(dòng)化的湖格式優(yōu)化策略，目前包括的策略如下。
策略 | 所屬類型 | 默認(rèn)閾值 | 描述 |
AutoOptimizeByCommitVersion | OPTIMIZE | 17 | 每間隔固定的版本，觸發(fā)OPTIMIZE任務(wù)。 |
AutoVacuumByCommitVersion | CLEAN | 13 | 每間隔固定的版本，觸發(fā)過期文件的CLEAN任務(wù)。 |
AutoOptimizeWithZorderByCommitVersion | OPTIMIZE | 17 | 每間隔固定的版本，觸發(fā)帶Zorder的湖表自動(dòng)優(yōu)化策略。 |
AutoOptimizeForFinishedPartition | OPTIMIZE | - | 對(duì)已完成時(shí)間分區(qū)的自動(dòng)優(yōu)化策略。 |
AutoOptimizeForCurrentPartition | OPTIMIZE | 17 | 對(duì)當(dāng)前時(shí)間分區(qū)的自動(dòng)優(yōu)化策略。 |
HudiAutoExecuteCompaction | COMPACTION | - | Hudi自動(dòng)Compaction策略。 |
目前僅支持Delta Lake數(shù)據(jù)湖格式。
場景說明
部分場景下（如Streaming）寫入湖格式，會(huì)生成很多小文件，影響后續(xù)的查詢效率。
湖格式表具有多版本或快照，數(shù)據(jù)目錄下存在歷史版本的過期數(shù)據(jù)，如不及時(shí)刪除，將會(huì)造成存儲(chǔ)資源的浪費(fèi)。
操作步驟
查看優(yōu)化策略
在左側(cè)菜單欄，單擊，可查看優(yōu)化策略列表。
設(shè)置優(yōu)化策略閾值
在優(yōu)化策略列表頁，單擊操作列的設(shè)置閾值。
在彈出的對(duì)話框中，輸入策略閾值，單擊確定。滿足閾值后，將會(huì)自動(dòng)執(zhí)行優(yōu)化策略。
禁用優(yōu)化策略
在優(yōu)化策略列表頁，如果該策略已啟用，此時(shí)單擊操作列的禁用。
在彈出的對(duì)話框中，單擊確定，可以關(guān)閉優(yōu)化策略。
啟用優(yōu)化策略
在優(yōu)化策略列表頁，如果該策略已禁用，單擊操作列的啟用。
在彈出的對(duì)話框中，單擊確定，可以啟用優(yōu)化策略。