數據目錄(Catalog)是數據湖構建(Data Lake Formation)的元數據最上層實體,它可以包含多個數據庫。主要適用于元數據隔離的場景。本文為您介紹數據目錄(Catalog)的基本操作。
新建數據目錄
登錄數據湖構建控制臺。
在Catalog列表頁面,單擊新建Catalog。
選擇Catalog類型,并配置相應信息。
Paimon類型
配置項
說明
Catalog類型
Paimon
:選擇Paimon Catalog時,湖表存儲格式為Paimon,新業務推薦使用。Catalog名稱
必選,唯一標識,不可重名。
描述
可選,輸入描述信息。
Hive類型
配置項
說明
Catalog類型
Hive
:Hive Catalog所支持的湖表格式兼容HMS,支持計算引擎使用Paimon、Iceberg、Delta lake、Hudi等湖格式。Catalog名稱
必選,唯一標識,不可重名。
描述
可選,輸入描述信息。
使用全新Bucket
是否使用全新Bucket。
是(默認):系統會代理創建OSS-HDFS Bucket,并自動完成該Bucket在DLF中的納管。
否:需先將OSS Bucket加入白名單,之后即可選用自己的Bucket。
存儲位置
當不使用全新Bucket時,需選擇OSS、OSS-HDFS存儲路徑。系統會自動完成該 Bucket 在 DLF 的納管。
說明使用全新Bucket和存儲位置,僅對名下存在加白Bucket的用戶可見,您可以加入釘釘群106575000021申請白名單權限。
勾選服務協議,并單擊創建Catalog。
查看數據目錄
在左側菜單欄,選擇數據目錄,單擊Catalog名稱,進入Catalog詳情頁。
單擊詳細信息頁簽,可查看Catalog基本信息。
如Catalog名稱、CatalogId、描述、Catalog類型、存儲量、Catalog存儲類型、存儲位置、創建人、Owner、創建時間、最近修改時間、表授權方案等。
在數據庫頁簽,可查看Catalog下所有的數據庫信息。數據庫相關操作,請參見數據庫。
還可根據Catalog類型,查看更多信息。
Paimon類型
Hive類型
編輯數據目錄
在Catalog列表頁面,單擊操作列的編輯,輸入描述。
刪除數據目錄
如果該數據目錄下的default
數據庫中存在表,需要先刪除這些表;如果存在default
以外的數據庫,需要先刪除這些數據庫及數據庫下的表;否則Catalog將刪除失敗。
在Catalog列表頁面,單擊操作列的刪除。
在彈出的提示框中,單擊確定。