本文主要介紹如何在DataWorks環境中整合MaxCompute的計算能力與DLF 2.0 Catalog服務,幫助您實現高效元數據管理及數據操作。
前提條件
已創建DLF 2.0數據目錄。如未創建,詳情請參見創建數據目錄。
如果是RAM用戶,在進行數據操作之前,需要先授予相應的資源權限。詳情請參見授權管理。
綁定MaxCompute計算資源
在計算資源頁面,單擊綁定計算資源。
在彈出的對話框中,選擇MaxCompute。
在MaxCompute項目下拉列表中,單擊新建,創建External Project。
在新增項目對話框中,配置以下信息,單擊確認。
項目類型:必選,選擇外部項目。
項目名稱:必填,需要全網唯一。
MaxCompute外部數據源類型:選擇OpenLake(DLF2)。
MaxCompute外部數據源:選擇新建外部數據源。
MaxCompute外部數據源名稱:選擇新建外部數據源。
授權信息:使用ExecuteWithUserAuth認證方式。
DLF EndPoint:會自動生成。
DLF 數據目錄:選擇已創建的DLF 2.0數據目錄。
計算資源付費類型:可選包年包月或按量付費。
默認Quota:必選。
配置以下信息,單擊確認。
更多參數信息,請參見創建MaxCompute數據源。
MaxCompute項目:必選,選擇步驟5中新建的項目名稱。
默認訪問身份:必選,定義在當前工作空間下,用什么身份訪問該數據源。
Endpoint:必選,可選自動適配或自定義配置。
計算資源實例名:必選,會自動生成,也可手動修改。
連接配置:測試資源組連通性。
查看External Project
在數據開發頁面,選擇一個工作空間,單擊進入數據開發。
在左側菜單欄,單擊圖標。
在MaxCompute模塊中,可以看到當前工作空間下的External Project列表。
插入數據
在左側菜單欄單擊圖標,進入數據開發頁面。
單擊圖標,在彈出的對話框中,選擇MaxCompute SQL,輸入MaxCompute SQL名稱,并按Enter鍵確認。
運行以下SQL,插入數據。
說明目前INSERT僅支持Paimon Append表。
目前MaxCompute不支持創建Paimon表,表
employees
需要在DLF預先創建。創建表具體操作,請參見新建數據表。SQL中的
project_dlf_test
為外部項目名稱。
SET odps.namespace.schema = true; INSERT INTO TABLE project_dlf_test.default.employees (employee_id, name, department) VALUES (1, '張三', '技術部'), (2, '李四', '市場部'), (3, '王五', '人力資源部');
查詢數據
運行以下SQL,查詢數據。
SET odps.namespace.schema = true;
SELECT * FROM project_dlf_test.default.employees;