本文為您介紹在實時計算Flink版中如何配置DLF 2.0 Catalog,以及在Catalog下如何創建表與查詢表數據,幫助您高效利用Flink進行大數據處理。
前提條件
已創建Flink全托管工作空間,引擎版本須為VVR 8.0.9及以上。如未創建,詳情請參見開通實時計算Flink版。
已創建DLF 2.0數據目錄。如未創建,詳情請參見創建數據目錄。
說明如果是RAM用戶,在進行數據操作之前,需要先授予相應的資源權限。詳情請參見授權管理。
步驟一:配置DLF 2.0數據目錄
登錄實時計算控制臺。
單擊工作空間列表中的工作空間名稱,進入對應的工作空間。
在左側導航欄,單擊元數據管理。
在Catalog列表頁,單擊創建Catalog。
在彈出的對話框中,選擇Apache Paimon,單擊下一步。
在彈出的對話框中,metastore選擇dlf,在catalog name模糊搜索或下拉選擇標有v2.0的Catalog。本文以
dlf_clg_test
為例。單擊確定。
步驟二:讀寫數據
創建數據表
在左側菜單欄,選擇數據開發 > 數據查詢。
單擊新建,新建查詢腳本。
執行以下SQL,創建數據表。
說明不指定數據庫時,創建數據表會默認建在Catalog下的default數據庫中,也可創建并指定其他數據庫。
USE CATALOG dlf_clg_test; CREATE TABLE users_samples ( user_id BIGINT, age_level STRING, final_gender_code STRING, clk BOOLEAN );
插入數據
運行以下SQL,插入數據。
USE CATALOG dlf_clg_test;
SET 'execution.checkpointing.max-concurrent-checkpoints' = '3';
SET 'table.exec.sink.upsert-materialize' = 'NONE';
SET 'execution.checkpointing.interval' = '60s';
SET 'execution.checkpointing.min-pause' = '30s';
SET 'table.exec.sink.not-null-enforcer'='DROP';
INSERT INTO users_samples (user_id, age_level, final_gender_code, clk) VALUES
(1, '25-34', 'M', true),
(2, '18-24', 'F', false),
(3, '35-44', 'M', true);
查詢數據
運行以下SQL,查詢數據。
select * from dlf_clg_test.`default`.users_samples;
步驟三:在DLF中查看元數據
當您運行成功之后,您可在數據湖構建控制臺看到新增的庫、表元數據信息。其中,dlf_clg_test
是本例中的示例Catalog名稱。
文檔內容是否對您有幫助?