數(shù)據(jù)表
本文為您介紹數(shù)據(jù)湖構(gòu)建中數(shù)據(jù)表的基本操作。
如果已經(jīng)在其他平臺(tái)上(如EMR、Flink等)關(guān)聯(lián)了Catalog,也可在這些平臺(tái)上創(chuàng)建數(shù)據(jù)庫和表,元數(shù)據(jù)將會(huì)直接寫入DLF中。詳情請(qǐng)參見大數(shù)據(jù)&AI產(chǎn)品集成。
新建數(shù)據(jù)表
在Catalog列表頁面,單擊Catalog名稱,進(jìn)入Catalog詳情頁。
在數(shù)據(jù)庫頁簽中,單擊數(shù)據(jù)庫名稱,單擊新建數(shù)據(jù)表。
根據(jù)Catalog類型,配置以下信息,單擊確定。
Paimon類型
配置項(xiàng)
說明
數(shù)據(jù)表名稱
必填,數(shù)據(jù)庫下不可重名。
數(shù)據(jù)表描述
可選,輸入描述信息。
普通列
定義表中的非分區(qū)字段,用于存儲(chǔ)特定的數(shù)據(jù)信息。
分區(qū)列
定義表中的分區(qū)字段,用于對(duì)表中的數(shù)據(jù)進(jìn)行物理分割,使得相同或者相近值的數(shù)據(jù)被存儲(chǔ)在一起,從而提高大規(guī)模數(shù)據(jù)集上的查詢效率。
表自定義屬性
可添加自定義屬性,在表創(chuàng)建過程中會(huì)覆蓋DLF元數(shù)據(jù)服務(wù)對(duì)應(yīng)的默認(rèn)參數(shù),適用的配置項(xiàng)詳見Paimon官方文檔。
Hive類型
配置項(xiàng)
說明
數(shù)據(jù)表名稱
必填,數(shù)據(jù)庫下不可重名。
數(shù)據(jù)表描述
可選,輸入描述信息。
數(shù)據(jù)存儲(chǔ)位置
選擇數(shù)據(jù)表中數(shù)據(jù)存儲(chǔ)的位置,也可使用默認(rèn)路徑(繼承Database存儲(chǔ)路徑)。
重要請(qǐng)選擇已在DLF納管的Bucket,未納管的Bucket無法使用。具體操作,請(qǐng)參見納管Buckets。
數(shù)據(jù)格式
選擇數(shù)據(jù)表的數(shù)據(jù)格式,支持Avro、CSV、JSON、Parquet、ORC格式。
分割符
可選,當(dāng)數(shù)據(jù)格式選擇CSV時(shí),選擇數(shù)據(jù)表的分隔符。
普通列
定義表中的非分區(qū)字段,用于存儲(chǔ)特定的數(shù)據(jù)信息。
分區(qū)列
定義表中的分區(qū)字段,用于對(duì)表中的數(shù)據(jù)進(jìn)行物理分割,使得相同或者相近值的數(shù)據(jù)被存儲(chǔ)在一起,從而提高大規(guī)模數(shù)據(jù)集上的查詢效率。
查看數(shù)據(jù)表
在數(shù)據(jù)庫列表中,單擊數(shù)據(jù)庫名稱,進(jìn)入資源列表頁。
在資源列表中,單擊表名稱,可在字段列表中查看非分區(qū)字段和分區(qū)字段。
單擊詳細(xì)信息頁簽,可查看數(shù)據(jù)表詳情。
如數(shù)據(jù)表名稱、表類型、所屬數(shù)據(jù)庫、表描述、最后一次更新時(shí)間、存儲(chǔ)位置、當(dāng)前版本、創(chuàng)建人、Owner、表格式等。
單擊權(quán)限頁簽,可為用戶或角色授予數(shù)據(jù)表相關(guān)權(quán)限。詳情請(qǐng)參見授權(quán)管理。
當(dāng)Catalog類型為Paimon時(shí),還可查看數(shù)據(jù)表的存儲(chǔ)概覽和存儲(chǔ)優(yōu)化。
單擊存儲(chǔ)概覽頁簽,可以查看數(shù)據(jù)表的數(shù)據(jù)概況和分區(qū)數(shù)據(jù)概覽信息。
單擊存儲(chǔ)優(yōu)化頁簽,可查看數(shù)據(jù)表的存儲(chǔ)優(yōu)化策略、優(yōu)化效果、最新執(zhí)行歷史等信息。詳情請(qǐng)參見存儲(chǔ)優(yōu)化使用須知。
刪除數(shù)據(jù)表
表被刪除后,系統(tǒng)默認(rèn)將表內(nèi)數(shù)據(jù)保留3天,以降低誤刪除風(fēng)險(xiǎn)。超過3天后,數(shù)據(jù)將被徹底刪除。
在數(shù)據(jù)庫列表中,單擊數(shù)據(jù)庫名稱,進(jìn)入資源列表頁。
在表列表中,單擊操作列的刪除。
在彈出的提示框中,單擊確定,完成數(shù)據(jù)表刪除。