本文為您介紹如何在EMR Serverless StarRocks中使用DLF 2.0的Catalog進行元數據管理和數據讀寫。
前提條件
步驟一:添加用戶
EMR Serverless StarRocks必須使用RAM用戶訪問DLF,需要先在StarRocks控制臺添加用戶。
在實例列表頁面,單擊已創建實例操作列的連接實例,詳情請參見通過EMR StarRocks Manager連接StarRocks實例。
指定用戶名為admin或StarRocks超級管理員,連接StarRocks實例。
在EMR StarRocks Manager頁面的左側菜單欄,選擇安全中心 > 用戶管理,單擊添加用戶。
在彈出的對話框中,配置以下信息,單擊確定。
用戶來源:選擇RAM用戶。
用戶名:選擇需要添加的RAM用戶。
密碼:自定義。
用戶類型:選擇普通用戶。
授權數據庫:勾選需要授權的數據庫。
授權權限:勾選需要授權的權限。
步驟二:Catalog授權
需要使用具備Catalog授權權限的用戶來進行授權操作。
登錄數據湖構建控制臺。
在Catalog列表頁面,單擊Catalog名稱。
單擊權限頁簽,單擊授權。
選擇對用戶授權,在授權用戶下拉列表中選擇步驟一中添加的RAM用戶。
預置權限類型選擇Custom,授權該用戶當前數據目錄和其下所有資源的ALL權限。
步驟三:創建External Catalog
在實例列表頁面,單擊已創建實例操作列的連接實例,詳情請參見通過EMR StarRocks Manager連接StarRocks實例。
使用具備
CREATE EXTERNAL CATALOG
權限的用戶(如admin或StarRocks超級管理員),連接StarRocks實例。在已有連接中,找到步驟一中的連接,單擊操作列的連接。
在SQL Editor的查詢列表頁面,單擊圖標,創建SQL查詢。
輸入以下SQL,單擊運行,創建External Catalog。
說明Catalog需要先在DLF創建,并替換SQL中的
dlf.catalog.id
。CREATE EXTERNAL CATALOG `dlf_clg_test` PROPERTIES ( "type" = "paimon", "paimon.catalog.type" = "dlf-paimon", "dlf.catalog.id" = "clg-paimon-ab23d7e021**********d3ad421325f3" );
步驟四:讀寫數據
創建數據庫
在實例列表頁面,單擊已創建實例操作列的連接實例,詳情請參見通過EMR StarRocks Manager連接StarRocks實例。
指定用戶為步驟一中的添加的RAM用戶,連接StarRocks實例。
在SQL Editor的查詢列表頁面,單擊圖標,創建SQL查詢。
運行以下SQL,創建數據庫。
CREATE DATABASE IF NOT EXISTS dlf_clg_test.sr_etl_db;
創建數據表
運行以下SQL,創建數據表。
CREATE TABLE IF NOT EXISTS dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics(
final_gender_code STRING COMMENT '性別',
age_level STRING COMMENT '年齡層次',
pvalue_level STRING COMMENT '消費檔次',
clicks INT COMMENT '點擊次數',
total_behaviors INT COMMENT '總行為次數'
);
插入數據
運行以下SQL,插入數據。
INSERT INTO dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);
查詢數據
運行以下SQL,查詢數據。
SELECT * FROM dlf_clg_test.sr_etl_db.ads_age_pvalue_analytics;
步驟五:在DLF中查看元數據
當您運行成功之后,您可在數據湖構建控制臺看到新增的庫、表元數據信息。其中,EMRStarRocks
是本例中的示例Catalog名稱。