對于離線任務,若需要周期性調度運行,您需定義該任務的調度相關屬性,包括調度周期、調度依賴、調度參數等。本文為您介紹離線任務屬性與調度的相關內容。
注意事項
系統僅支持調度類型為周期任務的離線計算任務進行調度配置。
依賴關系是兩個節點之間的先后運行順序關系,同時上游節點的狀態將影響其他下游節點的運行狀態。
配置了依賴關系的節點調度規則為:首先,上游節點運行完成后,才能調度下游節點。其次,根據節點設定的調度時間判斷是否執行調度。
您在設定的調度時間之前提交的調度配置,會在設定的調度時間之后生效。而在設定的調度時間之后配置的依賴關系,只能間隔一天再生成實例。
任務的調度配置僅用于定義任務調度運行時的相關屬性,任務需通過發布流程發布至生產環境后,才會根據該配置進行最終調度。
調度時間僅定義任務預期執行時間,其實際執行時間還受上游執行情況控制,關于任務執行條件說明,詳情請參見實例運行診斷。
離線任務屬性入口
在Dataphin首頁,在頂部菜單欄選擇研發 > 數據研發。
在開發頁面的頂部菜單欄選擇項目。
在左側導航欄中選擇數據處理 > 計算任務,在計算任務列表中,單擊目標任務名稱。
在該任務頁簽下,單擊右側的屬性,打開屬性面板。
配置離線任務屬性
在離線任務屬性頁面,您需根據下表配置任務的基本信息與調度相關屬性。
配置項 | 描述 |
包括任務名、ID、節點類型、開發負責人、運維責任人及描述。
| |
為運行當前任務所分配的CPU和內存資源。 說明 僅Python、Shell、SPARK_JAR_ON_MAXCOMPUTE、SPARK_JAR_ON_HIVE、MAXCOMPUTE_MR和HADOOP_MR類型的計算任務支持此項配置。 | |
Python三方包 | 選擇需要引入的Python三方包。 說明
|
用于定義節點調度時使用的參數。Dataphin提供內置參數并支持自定義參數,可供任務在調度時實現參數動態賦值。 說明 若您在編輯節點代碼時,在代碼中定義了變量,需在此處對該變量進行賦值。若未定義可無須進行定義。 | |
用于定義任務在生產環境的周期調度方式。
| |
用于定義該任務的上下游依賴關系。通過依賴關系有序調度運行上下游節點,即當上游節點運行成功后,下游節點才會啟動運行,保障適時的產出有效業務數據。您可使用自動解析快速設置節點依賴,也可手動添加節點的依賴關系。 | |
用于定義任務運行超時時間和任務運行失敗時的重跑策略,可杜絕因計算任務長時間資源占用造成資源浪費的同時提高計算任務運行的可靠性。 |
后續步驟
任務屬性配置完成后,您可提交并發布至生產環境。后續可在生產環境進行任務的相關運維操作,詳情請參見運維中心概述。