日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

使用DLF 2.0 Catalog

DLF 2.0提供全托管Paimon元數據和數據的存儲及管理服務,支持多種存儲優化策略,可以提供更加安全和更高性能的湖管理。本文將介紹如何在EMR Serverless StarRocks中使用阿里云DLF 2.0。

背景信息

阿里云數據湖構建(Data Lake Formation,簡稱DLF)是一款全托管的統一元數據和數據存儲及管理平臺,詳細信息請參見產品簡介。

前提條件

  • 已創建Serverless StarRocks實例,且實例版本為3.2。創建示例的詳細信息,請參見創建實例。

  • 已創建DLF 2.0數據目錄。如未創建,詳情請參見數據目錄

創建DLF 2.0 Catalog

語法

CREATE EXTERNAL CATALOG <catalog_name>
PROPERTIES (
"type"  =  "paimon",
"paimon.catalog.type"  =  "dlf-paimon",
"dlf.catalog.id"  =  "clg-paimon-xxxx"
);

參數說明

參數

是否必填

說明

<catalog_name>

DLF Catalog的名稱,必選參數。命名要求如下:

  • 必須由字母(a~z或A~Z)、數字(0~9)或下劃線(_)組成,并且只能以字母開頭。

  • 總長度不能超過64個字符。

type

Catalog類型,DLF 2.0當前僅支持Paimon Catalog,填寫固定值paimon。

paimon.catalog.type

Paimon的Catalog類型,在DLF 2.0場景中應填寫固定值dlf-paimon

dlf.catalog.id

DLF 2.0的ID,您可以在數據湖構建控制臺數據目錄頁面獲取。

使用DLF 2.0 Catalog示例

步驟一:在Serverless StarRocks中添加用戶

重要

DLF 2.0的訪問控制是RAM級別的。默認情況下所有StarRocks用戶均不具備DLF 2.0的任何權限,因此您必須添加一個已存在的RAM用戶并進行授權。如果未創建RAM用戶,請參見創建RAM用戶。

  1. 進入EMR Serverless StarRocks實例列表頁面。

    1. 登錄E-MapReduce控制臺。

    2. 在左側導航欄,選擇EMR Serverless > StarRocks。

    3. 在頂部菜單欄處,根據實際情況選擇地域。

  2. 實例列表頁面,單擊已創建實例操作列的連接實例,詳情請參見通過EMR StarRocks Manager連接StarRocks實例

    您可以選擇使用admin或StarRocks超級管理員權限,以連接StarRocks實例。

  3. 左側菜單欄,選擇安全中心 > 用戶管理,單后單擊添加用戶。

  4. 添加用戶對話框中,用戶來源選擇RAM用戶用戶名選擇一個已存在的RAM用戶(dlf-user),用戶類型選擇普通用戶,其余參數請根據實際情況填寫,然后單擊確定。

    image

    說明

    此處的權限分配僅限于StarRocks內部表,不涵蓋數據湖構建DLF。若需調整DLF數據目錄的訪問權限,您必須前往數據湖構建控制臺,對相應的RAM用戶權限進行修改,確保與所需權限匹配。

步驟二:在DLF 2.0中為Catalog授權

  1. 登錄數據湖構建控制臺

  2. Catalog列表頁面,單擊Catalog名稱。

  3. 單擊權限頁簽,單擊授權

  4. 選擇對用戶授權,在選擇授權用戶下拉列表中選擇RAM用戶(dlf-user)。

  5. 預置權限類型選擇Custom,授權該用戶當前數據目錄及其下所有資源的ALL權限。

  6. 單擊確定。

步驟在Serverless StarRocks中創建DLF 2.0 Catalog

重要

請使用步驟一中添加的RAM用戶(dlf-user),重新連接至StarRocks實例,并創建SQL查詢,以便訪問DLF 2.0外表。

  1. SQL Editor查詢列表頁面,單擊image圖標,創建SQL查詢。

  2. 輸入以下SQL,單擊運行

    CREATE EXTERNAL CATALOG `dlf_catalog`
    PROPERTIES (
      "type"  =  "paimon",
      "paimon.catalog.type"  =  "dlf-paimon",
      "dlf.catalog.id"  =  "clg-paimon-d0f14532788946afba4ae14543******"
    );

步驟四:在Serverless StarRocks中讀寫數據

創建數據庫

CREATE DATABASE IF NOT EXISTS dlf_catalog.sr_dlf_db;

創建數據表

CREATE TABLE dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics(
    final_gender_code STRING COMMENT '性別',
    age_level STRING COMMENT '年齡層次',
    pvalue_level STRING COMMENT '消費檔次',
    clicks INT COMMENT '點擊次數',
    total_behaviors INT COMMENT '總行為次數'
);

插入數據

INSERT INTO dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics (final_gender_code, age_level, pvalue_level, clicks, total_behaviors)
VALUES 
('M', '18-24', 'Low', 1500, 2500),
('F', '25-34', 'Medium', 2200, 3300),
('M', '35-44', 'High', 2800, 4000);

查詢數據

SELECT * FROM dlf_catalog.sr_dlf_db.ads_age_pvalue_analytics;

返回信息如下圖所示。

image

相關文檔

Paimon Catalog的更多介紹,請參見Paimon Catalog