本文主要介紹了在Hologres數據庫中,集成并利用DLF 2.0的Catalog功能進行高效元數據管理與數據讀寫操作的流程,幫助您更好地組織、訪問和控制數據資源。
前提條件
已創建DLF 2.0數據目錄。如未創建,詳情請參見創建數據目錄。
說明如果是RAM用戶,在進行數據操作之前,需要先授予相應的資源權限。詳情請參見授權管理。
已創建Hologres實例并開啟數據湖加速,實例版本需要不低于3.0.7。如未創建,詳情請參見購買Hologres。
說明開啟數據湖加速方式:訪問Hologres實例列表,單擊目標實例操作列中的數據湖加速并確認,開啟數據湖加速功能。
步驟一:創建External Database
登錄Hologres控制臺。
單擊實例列表中的實例名稱,進入實例詳情頁。
單擊登錄實例,進入HoloWeb頁面。
在左側實例列表中雙擊要登錄的實例,在彈出的對話框中,選擇要登錄的數據庫,單擊確認。
單擊上方頁簽中的SQL編輯器,進入Query查詢頁面。
單擊圖標,新建SQL查詢。
運行以下SQL,創建External Database。
說明Catalog需要先在DLF創建,并用Catalog ID替換SQL中的
dlf_catalog
字段的值。CREATE EXTERNAL DATABASE dlf_clg_test WITH metastore_type 'dlf-paimon' catalog_type 'paimon' dlf_region 'cn-hangzhou' dlf_endpoint 'dlfnext-share.cn-hangzhou.aliyuncs.com' dlf_catalog 'clg-paimon-5c950c6e26**********a4e551e3c150' ;
配置項
說明
是否必填
備注
dlf.region
DLF所在地域。
是
DLF所在地域ID,詳情請參見地域及訪問域名。
dlf.endpoint
DLF服務的Endpoint。
是
Endpoint格式為:
dlfnext-share.cn-xxx.aliyuncs.com
,其中cn-xxx
為dlf.region。dlf.catalog
DLF數據目錄ID。
是
請在數據湖構建控制臺的數據目錄列表中查看Catalog ID。
步驟二:創建External Schema
運行以下SQL,創建External Schema。
CREATE EXTERNAL SCHEMA IF NOT EXISTS dlf_clg_test.github_events;
步驟三:讀寫數據
創建數據表
運行以下SQL,創建數據表。
CREATE EXTERNAL TABLE dlf_clg_test.github_events.gh_event_archive(
id TEXT, -- 每個事件的唯一ID。
actor_id TEXT, -- GitHub用戶ID。
actor_login TEXT, -- GitHub用戶名。
repo_id TEXT, -- GitHub倉庫ID。
repo_name TEXT, -- GitHub倉庫名,如:apache/flink, apache/spark, alibaba/fastjson等。
created_at BIGINT, -- 事件時間,單位秒。
type TEXT -- GitHub事件類型,如:ForkEvent, WatchEvent, IssuesEvent, CommitCommentEvent等。
) WITH (
"bucket"=6,
"bucket-key"='id'
);
插入數據
運行以下SQL,插入數據。目前INSERT INTO僅支持Paimon Append表。
INSERT INTO dlf_clg_test.github_events.gh_event_archive(id, actor_id, actor_login, repo_id, repo_name, created_at, type)
VALUES
('1', '11', 'user1', '78901', 'flink', 1623547200, 'ForkEvent'),
('2', '12', 'user2', '123456', 'spark', 1623548400, 'WatchEvent'),
('3', '13', 'user3', '246801', 'fastjson', 1623549600, 'CommitEvent');
查詢數據
運行以下SQL,查詢數據。
SELECT * FROM dlf_clg_test.github_events.gh_event_archive;
步驟四:在DLF中查看元數據
當您運行成功之后,您可在數據湖構建控制臺看到新增的庫、表元數據信息。其中Hologres
是本例中的示例Catalog名稱。