您可以在DataWorks的數據開發(DataStudio)模塊創建手動任務,并在生產環境的運維中心管理手動任務。本文為您介紹如何創建手動任務,并將手動任務發布到生產環境。
使用說明
進入手動業務流程功能界面
您需要前往
頁面,通過手動業務流程創建手動觸發執行的任務。進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
在數據開發頁面左側導航欄選擇手動業務流程。若您界面沒有該菜單,請參見改變布局:定制化展示模塊手動添加。
新建手動業務流程
DataWorks以業務流程為中心組織數據開發,通過各類型開發節點的容器看板,將相關工具、優化及管理操作圍繞看板對象進行組織,使開發管理更加方便智能。您可根據業務需求,將同類型業務統一放置在一個業務流程。具體步驟如下:
創建業務流程。您可以使用如下兩種方式創建:
方式一:鼠標懸停至圖標,單擊新建業務流程。
方式二:右鍵單擊數據開發左側目錄樹的業務流程,選擇新建業務流程。
配置業務流程的名稱及描述,單擊新建。
更多關于業務流程的使用,請參見創建并管理業務流程。
新建手動業務
業務流程提供目錄樹列表與可視化兩種方式新建任務。
新建手動任務。
方式一:基于目錄樹創建。
在目錄樹的業務流程中找到上述步驟一創建的業務流程。
右鍵單擊所需引擎,在新建節點下選擇合適節點。
方式二:基于業務流程面板創建。
在目錄樹的業務流程中找到上述步驟一創建的業務流程。
雙擊該業務流程,進入業務流程面板。
在面板左側導航欄單擊所需節點,或將所需節點類型拖拽至面板。
配置節點引擎實例、名稱等信息。
定義任務代碼。
您需要根據您選擇的引擎類型,結合引擎語法,編輯該任務執行邏輯。若需要代碼動態入參,您可通過${變量名}的方式定義代碼中的變量,并可在后續設置任務屬性階段,為該變量賦值默認參數。此操作與調度任務定義代碼變量的方式一致。
說明部分節點的調度參數配置存在差異(例如,通用Shell節點中的變量只能以$1、$2、$3...命名),詳情請參見各類型節點的調度參數配置示例。
(可選)設置手動任務執行順序
手動業務流程中的任務不一定需要定義任務執行順序,但您也可以在手動業務流程面板中通過拉線的方式設置其上下游執行順序。沒有上下游執行順序的任務在運行整個業務流程時,將同時觸發執行。存在上下游執行順序的任務在點擊業務流程運行后,將按照上下游順序依次執行。
設置手動任務屬性
若任務需要在生產環境操作生產環境引擎數據,您可以在節點右側定義手動任務在生產環境執行時的相關屬性。該屬性與調度任務屬性作用一致。設置屬性如下:
屬性 | 描述 |
節點的名稱、ID、類型、責任人會自動展示,此處無需單獨配置。 說明
| |
用于定義節點運行時使用的參數。 說明 DataWorks提供內置參數及相關自定義參數,可供任務調度時實現參數動態賦值。若在代碼開發時定義了變量,您可在此處對該變量進行賦值。 | |
用于配置任務發布至生產環境后使用哪個資源組下發任務。該配置下拉選擇的為當前工作空間可用的調度資源組。建議您選擇購買使用DataWorks的Serverless資源組。詳情請參見新增和使用Serverless資源組。 |
調試運行手動業務
您可通過單個節點編輯頁面工具欄中的與調試當前任務。您也可通過業務流程面板的運行按鈕調試整個手動業務流程。
此操作一般將通過您個人賬號在開發環境的數據源項目中執行相關操作,關于數據源的更多信息,您可前往創建并管理數據源。
頁面查看,詳情請參見(可選)定義流程參數
當手動業務流程中存在同名變量,并且該變量可進行統一賦值的情況下,您可點開業務流程面板定義使用流程參數。定義完成后,您可通過運行業務流程并為流程參數賦值的方式查看該賦值結果下的手動任務執行情況。
您可為流程參數設置默認值,也可只定義流程參數名稱,在生產環境每次執行時單獨進行賦值。
提交并發布手動任務
若需要發布生產環境執行該手動任務,您可以保存節點的配置,并提交發布至運維中心,提交發布的操作請參見發布任務。發布操作并非一定成功,請確認任務最終發布的狀態。
發布成功后,您可以前往
路徑,查看剛才發布的手動任務。生產環境運行手動任務
手動任務僅支持手動觸發執行,不支持自動調度。您可在需要運行手動任務時,單擊手動任務頁面,找到該目標手動任務并對其執行運行操作,支持運行整個業務流程與業務流程下部分節點、并指定運行時間。
,進入手動任務最長執行3天,超過3天DataWorks將自動停止執行,任務將失敗退出。
流程參數賦值:若手動業務流程存在流程參數,您可在每次執行時通過為流程參數賦值,統一為該業務流程下代碼中同名變量賦值。該配置僅在定義了流程參數的情況下出現。
任務執行順序:任務執行順序與設置手動任務執行順序(可選)階段的說明一致。具體如下:
沒有上下游執行順序的任務在運行整個業務流程時,將同時觸發執行。
存在上下游執行順序的任務在點擊業務流程運行后,將按照上下游順序依次執行。
生產環境任務的運行操作都將生成實例,手動任務運行后將生成手動實例,您可在手動實例頁面查看手動任務實際執行結果。
的