日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

在Hologres中使用DLF Catalog

本文主要介紹了在Hologres數據庫中,集成并利用DLF 2.0的Catalog功能進行高效元數據管理與數據讀寫操作的流程,幫助您更好地組織、訪問和控制數據資源。

前提條件

  • 已創建DLF 2.0數據目錄。如未創建,詳情請參見創建數據目錄

    說明

    如果是RAM用戶,在進行數據操作之前,需要先授予相應的資源權限。詳情請參見授權管理

  • 已創建Hologres實例并開啟數據湖加速,實例版本需要不低于3.0.7。如未創建,詳情請參見購買Hologres

    說明

    開啟數據湖加速方式:訪問Hologres實例列表,單擊目標實例操作列中的數據湖加速并確認,開啟數據湖加速功能。

步驟一:創建External Database

  1. 登錄Hologres控制臺

  2. 單擊實例列表中的實例名稱,進入實例詳情頁。

  3. 單擊登錄實例,進入HoloWeb頁面。

  4. 在左側實例列表中雙擊要登錄的實例,在彈出的對話框中,選擇要登錄的數據庫,單擊確認

  5. 單擊上方頁簽中的SQL編輯器,進入Query查詢頁面

  6. 單擊image圖標,新建SQL查詢。

  7. 運行以下SQL,創建External Database。

    說明

    Catalog需要先在DLF創建,并用Catalog ID替換SQL中的dlf_catalog字段的值。

    CREATE EXTERNAL DATABASE dlf_clg_test
    WITH 
        metastore_type 'dlf-paimon'
        catalog_type 'paimon'
        dlf_region 'cn-hangzhou'
        dlf_endpoint 'dlfnext-share.cn-hangzhou.aliyuncs.com'
        dlf_catalog 'clg-paimon-5c950c6e26**********a4e551e3c150'
    ;

    配置項

    說明

    是否必填

    備注

    dlf.region

    DLF所在地域。

    DLF所在地域ID,詳情請參見地域及訪問域名

    dlf.endpoint

    DLF服務的Endpoint。

    Endpoint格式為:dlfnext-share.cn-xxx.aliyuncs.com,其中cn-xxx為dlf.region。

    dlf.catalog

    DLF數據目錄ID。

    請在數據湖構建控制臺的數據目錄列表中查看Catalog ID。

步驟二:創建External Schema

運行以下SQL,創建External Schema。

CREATE EXTERNAL SCHEMA IF NOT EXISTS dlf_clg_test.github_events;

步驟三:讀寫數據

創建數據表

運行以下SQL,創建數據表。

CREATE EXTERNAL TABLE dlf_clg_test.github_events.gh_event_archive(
    id TEXT,                                        -- 每個事件的唯一ID。
    actor_id TEXT,                                  -- GitHub用戶ID。
    actor_login TEXT,                               -- GitHub用戶名。
    repo_id TEXT,                                   -- GitHub倉庫ID。
    repo_name TEXT,                                 -- GitHub倉庫名,如:apache/flink, apache/spark, alibaba/fastjson等。
    created_at BIGINT,                              -- 事件時間,單位秒。
    type TEXT                                       -- GitHub事件類型,如:ForkEvent, WatchEvent, IssuesEvent, CommitCommentEvent等。
) WITH (
  "bucket"=6,
  "bucket-key"='id'
);

插入數據

運行以下SQL,插入數據。目前INSERT INTO僅支持Paimon Append表。

INSERT INTO dlf_clg_test.github_events.gh_event_archive(id, actor_id, actor_login, repo_id, repo_name, created_at, type)
VALUES
('1', '11', 'user1', '78901', 'flink', 1623547200, 'ForkEvent'),
('2', '12', 'user2', '123456', 'spark', 1623548400, 'WatchEvent'),
('3', '13', 'user3', '246801', 'fastjson', 1623549600, 'CommitEvent');

查詢數據

運行以下SQL,查詢數據。

SELECT * FROM dlf_clg_test.github_events.gh_event_archive;

步驟四:在DLF中查看元數據

當您運行成功之后,您可在數據湖構建控制臺看到新增的庫、表元數據信息。其中Hologres是本例中的示例Catalog名稱。

image