調度配置是配置節點在調度過程中的調度規則及依賴關系。本文為您介紹如何進行同步任務的調度配置。
前提條件
已完成同步任務的配置,詳情請參見配置同步任務。
背景信息
系統僅支持周期性節點的同步任務進行調度配置。
依賴關系是兩個或多個節點之間的語義連接關系,同時上游節點的狀態將影響其他下游節點的運行狀態。
配置了依賴關系的節點調度規則為:首先,上游節點運行完成后,才能調度下游節點。其次,根據節點設定的調度時間判斷是否執行調度。
當您在設定的調度時間之前提交的調度配置,會在設定的調度時間之后生效。而在設定的調度時間之后配置的依賴關系,只能間隔一天再生成實例。
操作步驟
登錄Dataphin控制臺。
在Dataphin控制臺頁面,選擇工作區地域后,單擊進入Dataphin>>。
在Dataphin首頁的頂部菜單欄,單擊研發。
在數據開發頁面,按照下圖操作指引進入屬性配置頁面。
在屬性配置頁面,配置參數。
配置基本信息區域參數。
參數
描述
任務名稱
任務名稱由字母、數字、下劃線(_)或英文句號(.)組合組成。任務名最長為128個字符。
ID
系統自動生成。
節點類型
系統自動生成。
描述
描述文案最長為128個字符。
優先級
系統自動生成,可支持編輯。
參數配置
輸入配置的參數。
配置調度配置區域參數。
參數
描述
時間屬性
選擇時間屬性。時間屬性包括:
正常調度:按照調度周期的時間配置調度,并正常執行,通常任務默認選中該項。
空跑調度:按照調度周期的時間配置調度,但都是空跑執行,即一調度到該任務便直接返回成功,沒有真正的執行任務。
暫停調度
暫停調度后,會按照下面的調度周期時間配置調度,但是一旦調度到該任務會直接返回失敗,不會執行。通常用于某個任務暫時不用執行,但后面還會繼續使用的場景
調度周期
調度周期可選擇日、周、月、小時和分鐘:
日調度,即調度任務每天自動運行一次。新建周期任務時,系統默認的時間周期為每天0點運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
周調度,即調度任務每周的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
如果您沒有指定日期,為保證下游實例正常運行,系統會生成實例后直接設置為運行成功,而不會真正執行任何邏輯,也不會占用資源。
月調度,即調度任務在每月的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊圖標,指定運行的時間點。
如果在沒有被指定的日期時,為保證下游實例正常運行,系統會每天生成實例后直接設置為運行成功,而不會真正執行任何邏輯,也不會占用資源。
小時調度,即每天指定的時間段內,調度任務按間隔時間數的時間間隔運行一次。或選擇指定的時間點,調度系統會自動為任務生成實例并運行。您可以根據業務需求選中時間段或時間點:
如果您選中了時間段,您可以單擊開始或結束后的圖標,指定運行的開始和結束時間。同時您可以單擊間隔后的圖標,在下拉列表中選擇間隔時間。
如果您選中了時間點,單擊下拉列表框,在下拉列表中選擇時間點。
例如,每天00:00~23:59的時間段內,每隔1小時會自動調度一次,因此調度系統會自動為任務生成實例并運行。
分鐘調度,即每天指定的時間段內,調度任務按間隔時間數的時間間隔運行一次。 您可以單擊開始或結束后的圖標,指定運行的開始和結束時間。同時您可以單擊間隔后的圖標,在下拉列表中選擇間隔時間。
cron表達式
系統自動生成cron表達式。
最近的生成時間
系統自動生成最近生成的時間。
依賴上周期
根據業務場景分析是否需要選中依賴上周期。如果您選中了,則需要選擇依賴上個調度周期的節點:
如果您選擇了當前,則表示依賴當前節點的上個調度周期。
如果您選擇了自定義,則需在輸入框中,輸入依賴節點的名稱關鍵字搜索并選中需要依賴的節點。
優先級
優先級定義了同一時間同一批待調度任務的優先級。系統默認選擇為中等優先級。您可以根據業務需求修改任務調度的優先級。系統支持的優先級包括:最低優先級、低優先級、中等優先級、高優先級和最高優先級。
參數配置
如果您需要調整系統參數的默認取值(例如業務日期),可通過設置自定義參數實現變量替換后再進行計算,單擊屬性對話框頁面節點參數配置說明,查看系統支持配置的參數。
配置調度依賴區域參數。
參數
描述
上游依賴
上游依賴包括物理節點和邏輯表節點。邏輯表節點上游依賴僅支持系統解析。執行如下操作,添加該代碼任務調度時依賴的上游物理節點:
單擊手動添加上游。
在新建上游依賴對話框中,您可以通過以下兩種方式搜索依賴節點:
輸入所依賴節點的輸出名稱的關鍵字進行搜索節點。
輸入virtual搜索虛擬節點(每個租戶或企業在初始化時都會有一個根節點)。
說明節點的輸出名稱是全局唯一的,且不區分大小寫。
單擊確定新增。
同時您還可以單擊操作列下的圖標,刪除已添加的依賴節點。
本節點輸出
通過執行如下操作,設置當前節點的輸出名稱,根據需要您可以設置多個輸出名稱,供其他節點依賴使用:
單擊新建節點輸出。
在新增當前節點輸出對話框中,填寫輸出名稱。輸出名稱的命名規則請盡量統一,一般命名規則為
生成項目名.表名
且不區分大小寫,以標識本節點產出的表,同時其他節點更好地選擇調度依賴關系。例如,開發項目名稱為
onedata_dev
,建議將輸出名稱設置為onedata.s_order
。如果您將輸出名稱設置為onedata_dev.s_order
,則僅限代碼select * from onedata_dev.s_order
能解析出上游依賴節點。單擊確定新增。
同時您還可以對當前節點已添加的輸出名稱執行如下操作:
單擊操作列下的圖標,刪除已添加的輸出名稱。
如果該節點已提交且被任務所依賴(任務已提交),則單擊操作列下的圖標,查看下游節點。
單擊確定,完成同步任務的調度配置。
保存、提交和發布同步任務。
在同步任務的配置頁面,單擊圖標,保存同步任務。
在同步任務的配置頁面,單擊圖標,提交同步任務。
在提交備注對話框,填寫備注信息。
單擊確定并提交。
可選:發布同步任務至生產環境。
如果您的開發模式是Dev-Prod模式,則需要發布同步任務,詳情請參見管理發布任務。
如果您的開發模式是Basic模式,則不需要發布同步任務,提交后的同步任務就可以參與調度。