調度配置用于定義周期性調度類型的離線管道任務在調度過程中的調度規則。本文為您介紹如何配置周期性離線管道調度配置。
背景信息
依賴關系是兩個或多個節點之間的語義連接關系,同時上游節點的狀態將影響其他下游節點的運行狀態。
配置了依賴關系的節點調度規則為:首先,上游節點運行完成后,才能調度下游節點。其次,根據節點設定的調度時間判斷是否執行調度。
您在設定的調度時間之前提交的調度配置,會在設定的調度時間之后生效。而在設定的調度時間之后配置的依賴關系,只能間隔一天再生成實例。
操作步驟
在Dataphin首頁,在頂部菜單欄選擇研發 > 數據集成。
在集成頁面的頂部菜單欄選擇項目。
在左側導航欄中選擇集成 > 離線集成,在離線集成列表中,單擊目標任務名稱。
在該任務頁簽下,單擊右側的屬性,打開屬性面板。
單擊調度配置頁簽,在調度配置區域設置相關參數信息。
參數
描述
調度類型
支持正常調度、空跑調度及暫停調度3種調度類型。
正常調度:按照調度周期的時間配置調度,并正常執行(即會真實跑數據),通常任務默認選中該項。
空跑調度:按照調度周期的時間配置調度,但都是空跑執行(即不會真實跑數據),即當調度到該任務時便直接返回成功,沒有真正的執行任務。通常用于當某一個節點在一定時間內不需要執行,并且不阻塞他的下游節點執行時,可選擇此類型調度。
暫停調度:暫停調度選擇是后,將按照調度周期配置的時間啟動調度,但節點狀態被置為暫停(即不會真實跑數據)。調度到該任務時,系統會直接返回失敗,并且會阻塞依賴當前節點的下游節點執行。通常用于某個任務暫時不用執行,但后面還會繼續使用的場景。
優先級
當前離線管道任務的優先級,可選擇為中、低或最低。
新建離線管道任務時,此處優先級的默認值取自于管理中心 > 研發平臺設置 > 節點任務相關設置中的默認優先級。
說明當該任務發布到生產環境或在Basic環境下提交后,編輯任務時優先級不可修改,需在生產環境下的運維中進行修改。此時優先級的值為生產環境的最新值。
調度周期
調度周期即在生產環境調度系統中,多久會真實執行一次該任務中的代碼。當一個任務被成功提交后,該任務調度將提交當天次日開始該任務的時間屬性配置生成自動調度的周期實例,并根據上游依賴的實例運行結果和時間點運行。
調度周期可選擇日、周、月、小時和分鐘:
日調度:即調度任務每天自動運行一次。新建周期任務時,系統默認的時間周期為每天0點運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
周調度:即調度任務每周的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
說明在非指定的調度時間內,為保證下游實例正常運行,系統會生成實例后直接設置為運行成功,而不會真正執行任何邏輯,也不會占用資源。
月調度:即調度任務在每月的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
說明在非指定的調度時間內,為保證下游實例正常運行,系統會每天生成實例后直接設置為運行成功,而不會真正執行任何邏輯,也不會占用資源。
小時調度:支持時間段調度、整點調度和自定義調度。
時間段調度:即每天指定的時間段內,調度任務按間隔時間數的時間間隔運行一次。您可以單擊開始或結束后的圖標,指定運行的開始和結束時間。同時您可以單擊間隔后的圖標,在下拉列表中選擇間隔時間。例如,每天00:00~23:59的時間段內,每隔1小時會自動調度一次。
整點調度:單擊下拉列表框選擇整點時間,調度系統會在所選擇的整點時間自動為任務生成實例并運行。
自定義調度:單擊下拉列表框選擇自定義時間,調度系統會在所自定義的時間自動為任務生成實例并運行。
分鐘調度:支持每天或每小時。
每天:即每天指定的時間段內,調度任務按間隔時間數的時間間隔運行一次。
每小時:即每小時指定的開始時間到該小時結束的時間段內,調度任務按間隔時間數的時間間隔運行一次。
參數配置
參數配置是對計算任務代碼中所用的變量進行賦值,從而支持節點調度時,參數變量可以自動被替換為相應的變量值。多個參數以
;
隔離。更多說明,請參見配置離線管道調度。條件調度
可設置多組調度條件,系統按照從上往下的順序進行條件判斷,命中條件后即執行相應調度動作,并終止后續所有條件的判斷。未命中任何條件時,則執行默認調度配置。
重要條件調度僅在調度類型為正常調度時生效。
單擊添加調度條件。
說明最多支持添加 10 個調度條件。
在編輯條件調度對話框中,配置條件調度相關配置信息。
單擊確定。
完成條件調度設置后,單擊預覽調度運行計劃,可查看條件調度在日歷中命中的日期。
重要修改條件調度設置,并提交并發布到生產環境后,將對發布時為未運行狀態的實例實時生效,對已進入等待運行時間的實例不生效。
條件調度中使用了跨節點參數判斷類型時,須提供可能的參數取值進行預覽。
單擊確定,完成離線管道調度配置。