DLF 2.0提供全托管Paimon元數據和數據的存儲及管理服務,支持多種存儲優化策略,可以提供更加安全和更高性能的湖管理。本文將介紹如何在EMR Serverless StarRocks中使用阿里云DLF 2.0。
背景信息
阿里云數據湖構建(Data Lake Formation,簡稱DLF)是一款全托管的統一元數據和數據存儲及管理平臺,詳細信息請參見產品簡介。
前提條件
創建DLF 2.0 Catalog
語法
CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES (
"type" = "paimon",
"paimon.catalog.type" = "dlf-paimon",
"dlf.catalog.id" = "clg-paimon-xxxx"
);
參數說明
參數 | 是否必填 | 說明 |
<catalog_name> | 是 | DLF Catalog的名稱,必選參數。命名要求如下:
|
type | 是 | Catalog類型,DLF 2.0當前僅支持Paimon Catalog,填寫固定值 |
paimon.catalog.type | 是 | Paimon的Catalog類型,在DLF 2.0場景中應填寫固定值 |
dlf.catalog.id | 是 | DLF 2.0的ID,您可以在數據湖構建控制臺的數據目錄頁面獲取。 |
使用DLF 2.0 Catalog示例
步驟一:在Serverless StarRocks中添加用戶
DLF 2.0的訪問控制是RAM級別的。默認情況下所有StarRocks用戶均不具備DLF 2.0的任何權限,因此您必須添加一個已存在的RAM用戶并進行授權。如果未創建RAM用戶,請參見創建RAM用戶。
進入EMR Serverless StarRocks實例列表頁面。
在左側導航欄,選擇
。在頂部菜單欄處,根據實際情況選擇地域。
在實例列表頁面,單擊已創建實例操作列的連接實例,詳情請參見通過EMR StarRocks Manager連接StarRocks實例。
您可以選擇使用admin或StarRocks超級管理員權限,以連接StarRocks實例。
左側菜單欄,選擇
,單后單擊添加用戶。在添加用戶對話框中,用戶來源選擇RAM用戶,用戶名選擇一個已存在的RAM用戶(dlf-user),用戶類型選擇普通用戶,其余參數請根據實際情況填寫,然后單擊確定。
說明此處的權限分配僅限于StarRocks內部表,不涵蓋數據湖構建DLF。若需調整DLF數據目錄的訪問權限,您必須前往數據湖構建控制臺,對相應的RAM用戶權限進行修改,確保與所需權限匹配。
步驟二:在DLF 2.0中為Catalog授權
登錄數據湖構建控制臺。
在Catalog列表頁面,單擊Catalog名稱。
單擊權限頁簽,單擊授權。
選擇對用戶授權,在選擇授權用戶下拉列表中選擇RAM用戶(dlf-user)。
預置權限類型選擇Custom,授權該用戶當前數據目錄及其下所有資源的ALL權限。
單擊確定。
步驟三:在Serverless StarRocks中創建DLF 2.0 Catalog
請使用步驟一中添加的RAM用戶(dlf-user),重新連接至StarRocks實例,并創建SQL查詢,以便訪問DLF 2.0外表。
在SQL Editor的查詢列表頁面,單擊圖標,創建SQL查詢。
輸入以下SQL,單擊運行。
CREATE EXTERNAL CATALOG `dlf_catalog` PROPERTIES ( "type" = "paimon", "paimon.catalog.type" = "dlf-paimon", "dlf.catalog.id" = "clg-paimon-d0f14532788946afba4ae14543******" );
步驟四:在Serverless StarRocks中讀寫數據
創建數據庫
CREATE DATABASE IF NOT EXISTS dlf_catalog.sr_dlf_db;
創建數據表
CREATE TABLE dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics(
final_gender_code STRING COMMENT '性別',
age_level STRING COMMENT '年齡層次',
pvalue_level STRING COMMENT '消費檔次',
clicks INT COMMENT '點擊次數',
total_behaviors INT COMMENT '總行為次數'
);
插入數據
INSERT INTO dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);
查詢數據
SELECT * FROM dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics;
返回信息如下圖所示。
相關文檔
Paimon Catalog的更多介紹,請參見Paimon Catalog。