日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

在MaxCompute中使用DLF Catalog

本文主要介紹如何在DataWorks環境中整合MaxCompute的計算能力與DLF 2.0 Catalog服務,幫助您實現高效元數據管理及數據操作。

前提條件

已創建DLF 2.0數據目錄。如未創建,詳情請參見創建數據目錄

說明

如果是RAM用戶,在進行數據操作之前,需要先授予相應的資源權限。詳情請參見授權管理

綁定MaxCompute計算資源

  1. 登錄DataWorks工作空間設置控制臺

  2. 計算資源頁面,單擊綁定計算資源

  3. 在彈出的對話框中,選擇MaxCompute

  4. MaxCompute項目下拉列表中,單擊新建,創建External Project。

  5. 新增項目對話框中,配置以下信息,單擊確認

    image

    • 項目類型:必選,選擇外部項目

    • 項目名稱:必填,需要全網唯一。

    • MaxCompute外部數據源類型:選擇OpenLake(DLF2)

    • MaxCompute外部數據源:選擇新建外部數據源

    • MaxCompute外部數據源名稱:選擇新建外部數據源

    • 授權信息:使用ExecuteWithUserAuth認證方式。

    • DLF EndPoint:會自動生成。

    • DLF 數據目錄:選擇已創建的DLF 2.0數據目錄。

    • 計算資源付費類型:可選包年包月按量付費

    • 默認Quota:必選。

  6. 配置以下信息,單擊確認

    更多參數信息,請參見創建MaxCompute數據源

    • MaxCompute項目:必選,選擇步驟5中新建的項目名稱。

    • 默認訪問身份:必選,定義在當前工作空間下,用什么身份訪問該數據源。

    • Endpoint:必選,可選自動適配或自定義配置。

    • 計算資源實例名:必選,會自動生成,也可手動修改。

    • 連接配置:測試資源組連通性。

查看External Project

  1. 登錄DataWorks數據開發控制臺

  2. 數據開發頁面,選擇一個工作空間,單擊進入數據開發

  3. 在左側菜單欄,單擊image圖標。

  4. MaxCompute模塊中,可以看到當前工作空間下的External Project列表。

插入數據

  1. 在左側菜單欄單擊image圖標,進入數據開發頁面。

  2. 單擊image圖標,在彈出的對話框中,選擇MaxCompute SQL,輸入MaxCompute SQL名稱,并按Enter鍵確認。

  3. 運行以下SQL,插入數據。

    說明
    • 目前INSERT僅支持Paimon Append表。

    • 目前MaxCompute不支持創建Paimon表,表employees需要在DLF預先創建。創建表具體操作,請參見新建數據表

    • SQL中的project_dlf_test為外部項目名稱。

    SET odps.namespace.schema = true;
    INSERT INTO TABLE project_dlf_test.default.employees (employee_id, name, department) 
    VALUES 
      (1, '張三', '技術部'),
      (2, '李四', '市場部'),
      (3, '王五', '人力資源部');

查詢數據

運行以下SQL,查詢數據。

SET odps.namespace.schema = true;
SELECT * FROM project_dlf_test.default.employees;