如果您希望周期性運行MaxCompute作業，可使用DataWorks的DataStudio開發周期性MaxCompute作業，并配置周期性調度的時間屬性、調度依賴等配置項，將作業整體提交至DataWorks的運維中心進行周期性調度。本文為您概要介紹當前使用DataWorks開發周期性作業的能力。

周期性作業開發流程

DataWorks on MaxCompute的基本開發流程如下圖。數據開發流程
說明 DataWorks的工作空間分為基礎版與標準版，其中標準版為開發生產環境隔離的環境，以上流程圖以標準版DataWorks為例。
其中：
  • 不同類型的作業任務可以使用不同的節點，如ODPS SQL節點、ODPS Spark節點、PyODPS節點等。
  • 同時您還可以通過DataWorks界面化的創建MaxCompute表、將MaxCompute函數注冊至DataWorks、在DataWorks上創建MaxCompute資源，來提高作業開發效率。
  • 同時您也可以使用DataWorks的通用節點來實現較復雜的作業邏輯（如循環、遍歷等），更多介紹請參見高級應用：實現復雜作業邏輯。

費用說明

DataWorks數據開發與運維中心提供MaxCompute數據同步、數據加工任務的周期調度，不僅包含DataWorks相關費用，同時會產生產品側其他費用，具體如下。

DataWorks相關費用

以下費用會體現在DataWorks產品相關賬單中。DataWorks計費詳情請參見DataWorks計費項說明。

  • DataWorks版本費用：

    進行任務開發前，您需先開通DataWorks。如果開通的是增值版本的DataWorks（例如，企業版），則在開通時需支付相應增值版本的版本費用。

  • 任務調度的調度資源費用：

    任務開發完成后，進行任務調度時需使用調度資源。您需按需購買調度資源組（例如，包年包月的獨享調度資源組、按量付費的公共調度資源組），支付相應的資源組費用。

  • 數據同步的同步資源費用：

    運行數據同步任務時，除調度資源外，還需使用數據同步資源。您需按需購買數據同步所需的資源組（例如，包年包月的獨享數據集成資源組、按量付費的公共數據集成（調試）資源組），支付相應的資源組費用。

說明
  • DataStudio界面使用運行、帶參運行功能執行的任務，不會收取調度費用。
  • 沒有實際執行成功的任務及空跑的任務不收取調度費用。
您可參考DataWorks調度任務下發邏輯，以輔助了解上述計費說明。

非DataWorks相關費用

以下費用不會體現在DataWorks產品相關賬單中。

重要 其他產品收費情況由對應產品的計費邏輯決定，您可查看對應產品的計費文檔了解詳情。以MaxCompute為例，計費詳情請參見MaxCompute計費項說明。
任務開發運行過程中可能會產生的其他費用，包含但不限于：
  • 數據庫費用：

    數據同步時，讀寫上下游數據庫中的數據，可能會產生數據庫費用。

  • 計算和存儲費用：

    運行計算引擎任務時，可能會產生計算引擎的計算和存儲費用。例如，運行一個MaxCompute的SQL任務，新建表并寫入表數據，可能會產生MaxCompute的計算和存儲費用。

  • 網絡服務費用：

    連通DataWorks和其他相關產品的網絡環境時，可能會產生網絡服務費用。例如，使用高速通道、共享帶寬、EIP等產品連通網絡時，會產生相應產品的服務費用。

權限控制

DataWorks為您提供了產品級與模塊級的權限控制，并支持使用可視化方式申請與審批MaxCompute引擎資源的相關權限。權限控制相關介紹如下。

數據訪問與權限控制

您可通過ODPS SQL節點或臨時查詢節點，查詢MaxCompute表數據，簡單模式工作空間無法做到細粒度權限控制及開發生產隔離，本文以標準模式工作空間示例說明。
  • 權限預設情況說明
    RAM用戶被添加至工作空間成為空間成員后，其數據訪問權限預設情況如下。
    權限類別描述
    MaxCompute開發項目權限DataWorks通過空間級預設角色與開發環境MaxCompute引擎Role的映射關系，讓被授予空間角色的RAM用戶（子賬號）擁有該角色映射的開發引擎權限，默認擁有開發環境對應的引擎項目權限，但無生產環境對應的引擎項目權限。
    MaxCompute生產項目權限除被授予調度訪問身份的RAM用戶（子賬號）擁有生產環境MaxCompute項目較大權限外，其他RAM用戶（子賬號）沒有生產環境項目權限。如需操作生產表，請前往安全中心申請權限。

    DataWorks為您提供了默認的審批流程，同時，也支持管理者自定義審批流程。

    更多關于MaxCompute數據訪問權限控制說明，請參見MaxCompute數據權限控制詳情。
  • 數據訪問行為說明
    MaxCompute支持跨項目查詢表，因此，在數據開發（DataStudio）界面可通過指定項目名稱的方式，跨項目查詢DataWorks工作空間中的生產數據。跨項目訪問表的方式及各界面執行所使用的賬號說明，請見下表。
    說明
    • 不同環境綁定的引擎項目及環境配置的執行賬號，可查看工作空間引擎綁定信息，詳情請參見綁定MaxCompute引擎。
    • DataWorks標準模式工作空間下，開發環境默認使用任務執行者個人身份執行任務，生產調度環境默認使用某云賬號執行任務，即調度訪問身份。詳情請參見綁定MaxCompute引擎。
    代碼示例開發環境（數據開發、開發環境運維中心）執行代碼生產環境（生產環境運維中心）執行代碼
    訪問開發項目中的開發表：
    select col1 from projectname_dev.tablename;
    		使用任務執行者個人云賬號訪問開發表。
    • RAM用戶（子賬號）執行相關任務，則使用RAM用戶（子賬號）個人云賬號訪問開發表。
    • 阿里云主賬號執行相關任務，則使用阿里云主賬號訪問開發表。
    		使用調度訪問身份訪問開發表。
    訪問生產項目中的生產表：
    select col1 from projectname.tablename;
    		使用任務執行者個人云賬號訪問生產表。
    說明 由于生產數據安全控制，個人云賬號默認無權限訪問生產表，需前往安全中心進行申請。DataWorks提供默認審批流程，支持管理者自定義審批流程。
    		使用調度訪問身份訪問生產表。
    在目標類型環境（例如，開發環境）執行語句，訪問相應環境中的表（即開發表）：
    select col1 from tablename;
    		在開發環境執行時，使用任務執行者個人云賬號訪問身份，訪問開發引擎中目標表。在生產環境執行時，使用調度訪問身份，訪問生產引擎中目標表。

功能模塊權限控制

進行數據開發前，您可為用戶授權指引授予工作空間成員不同空間角色，讓其擁有不同的操作權限。權限類型如下：
  • 通過RAM Policy權限體系，管理DataWorks功能模塊（例如，不允許用戶訪問數據地圖）與DataWorks控制臺的權限（例如，允許用戶刪除工作空間）。
  • 通過RBAC權限模型，管理DataWorks空間級模塊（例如，允許用戶進入數據開發執行相關開發操作）與全局模塊的使用權限（例如，禁止用戶訪問數據保護傘模塊）。
開發流程