節(jié)點調(diào)度配置
若任務(wù)需要周期性調(diào)度運行,您需定義該任務(wù)的調(diào)度相關(guān)屬性,包括調(diào)度周期、調(diào)度依賴、調(diào)度參數(shù)等。本文為您介紹調(diào)度配置的相關(guān)內(nèi)容。
前提條件
已創(chuàng)建節(jié)點。DataWorks基于節(jié)點進行任務(wù)開發(fā),不同類型的引擎任務(wù)在DataWorks上被封裝為不同類型的節(jié)點,您可根據(jù)業(yè)務(wù)需要,選擇合適的節(jié)點使用。詳情請參見通用開發(fā)流程。
已開啟工作空間調(diào)度開關(guān)。僅當DataWorks工作空間開啟啟用調(diào)度周期開關(guān)后,工作空間中的任務(wù)才可以根據(jù)其配置自動調(diào)度運行。您需進入工作空間的調(diào)度設(shè)置頁面,開啟相應(yīng)開關(guān),詳情請參見調(diào)度設(shè)置。
注意事項
任務(wù)的調(diào)度配置僅用于定義任務(wù)調(diào)度運行時的相關(guān)屬性,任務(wù)需通過發(fā)布流程發(fā)布至生產(chǎn)環(huán)境后,才會根據(jù)該配置進行最終調(diào)度。
調(diào)度時間僅定義任務(wù)預期執(zhí)行時間,其實際執(zhí)行時間還受上游執(zhí)行情況控制,關(guān)于任務(wù)執(zhí)行條件說明,詳情請參見任務(wù)運行診斷。
DataWorks支持多種類型任務(wù)互相依賴,操作前,建議您先查看必讀:復雜依賴場景調(diào)度配置原則與示例文檔了解DataWorks在該場景下預設(shè)依賴的情況。
DataWorks上,調(diào)度任務(wù)會根據(jù)調(diào)度類型及周期數(shù)生成相應(yīng)的實例(例如,小時調(diào)度任務(wù)每天會根據(jù)周期數(shù)產(chǎn)生相應(yīng)數(shù)量的小時實例),并通過周期實例的方式自動調(diào)度運行該任務(wù)。
在使用調(diào)度參數(shù)的情況下,DataWorks調(diào)度任務(wù)各周期代碼入?yún)⒂稍撝芷趯?yīng)的定時時間以及您調(diào)度參數(shù)表達式最終決定。各周期代碼入?yún)⑴c調(diào)度參數(shù)配置與替換的關(guān)系,調(diào)度參數(shù)支持的格式。
進入調(diào)度配置頁面
進入數(shù)據(jù)開發(fā)頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側(cè)導航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進入數(shù)據(jù)開發(fā)。
進入調(diào)度配置頁面。
在數(shù)據(jù)開發(fā)(DataStudio)界面,您需找到目標節(jié)點,進入該節(jié)點的編輯頁面。
單擊節(jié)點編輯頁面右側(cè)導航欄的調(diào)度配置,進入節(jié)點調(diào)度配置頁面。
配置節(jié)點調(diào)度屬性
在節(jié)點的調(diào)度配置頁面,您需根據(jù)下表配置節(jié)點的調(diào)度屬性。
配置項 | 說明 |
包括節(jié)點的名稱、ID、類型、責任人等。
| |
用于定義節(jié)點調(diào)度時使用的參數(shù)。DataWorks提供內(nèi)置參數(shù)及自定義參數(shù),可供任務(wù)在調(diào)度時實現(xiàn)參數(shù)動態(tài)賦值。 說明 若您在編輯節(jié)點代碼時,在代碼中定義了變量,需在此處對該變量進行賦值。 | |
DataWorks上任務(wù)調(diào)度將通過生成對應(yīng)實例來執(zhí)行,此處用于定義任務(wù)在生產(chǎn)環(huán)境的周期調(diào)度方式。
| |
用于定義該任務(wù)發(fā)布至生產(chǎn)環(huán)境調(diào)度運行時使用的調(diào)度資源組。 | |
用于定義該任務(wù)的上下游依賴關(guān)系。通過依賴關(guān)系有序調(diào)度運行上下游節(jié)點,即當上游節(jié)點運行成功后,下游節(jié)點才會啟動運行,保障適時的產(chǎn)出有效業(yè)務(wù)數(shù)據(jù)。您可使用自動解析快速設(shè)置節(jié)點依賴,也可手動設(shè)置節(jié)點的依賴關(guān)系。
說明
| |
用于定義上下游任務(wù)間的參數(shù)傳遞,定義后,可在下游節(jié)點中使用該參數(shù)獲取上游節(jié)點傳遞過來的值。 |
后續(xù):提交并測試運行節(jié)點
任務(wù)調(diào)度屬性配置完成后,您可提交節(jié)點并根據(jù)需要測試運行節(jié)點的調(diào)度配置是否符合預期,詳情請參見任務(wù)調(diào)試流程。調(diào)試無誤后,可將節(jié)點發(fā)布至生產(chǎn)環(huán)境進行周期性調(diào)度。后續(xù)可在生產(chǎn)環(huán)境進行任務(wù)的相關(guān)運維操作,詳情請參見周期任務(wù)基本運維操作。