虛擬節點屬于控制類節點,它是不產生任何數據的空跑節點(即調度到該節點時,系統直接返回成功,不會真正執行、不會占用資源或阻塞下游節點運行),通常作為業務流程的統籌起始節點,或業務流程中多個分支節點的匯總輸出節點使用。本文為您介紹虛擬節點的應用場景及創建使用。
應用場景
虛擬節點通常用于如下場景:
復雜依賴場景下的業務管理
當您的實際業務包含多個業務流程時,為了業務流程與業務流程之間便于管理,建議每個業務流程都使用虛擬節點設置一個空跑的統籌起始節點,使數據流轉路徑更加清晰。
調度無血緣關系的節點
當業務流程中的最終輸出節點有多個分支輸入節點,且輸入節點沒有依賴關系時,您需要將虛擬節點作為多個輸入節點的上游,將工作空間根節點作為虛擬節點的上游,實現工作空間根節點調度該虛擬節點,虛擬節點調度下游業務節點。當整個業務流程需要統一調度時間時,您也可以使用該方式指定虛擬節點的定時時間,來控制各分支節點的最早調度運行時間。
說明工作空間根節點作為上游依賴時,不會呈現在業務流程面板中。您可以在任務提交發布后,進入運維中心查看。運維中心詳情請參見周期任務基本運維操作。
示例如下。
oss_數據同步_dqc
、rds_數據同步_dqc
節點不存在血緣關系,不能根據血緣關系來設置節點的調度依賴。此時,您可使用虛擬節點(workshop_start_dqc
)作為統籌起始節點,統一調度下游無血緣關系的分支節點,當下游分支節點滿足運行條件時便會啟動運行。說明通過離線同步將其他數據源中的數據同步至DataWorks,對于DataWorks上接收同步數據的表來說,在DataWorks側不存在上游血緣關系。
管理多分支結果的業務流程,實現跨業務流程的調度依賴
包含多個分支結果的業務流程如果要實現跨業務流程依賴,您需要使用虛擬節點對多個分支節點進行匯總,再手動將該匯總節點的輸出作為下游業務流程統籌起始節點的輸入,以此方式實現跨業務流程依賴。詳情請參見跨業務流程配置調度依賴。
說明一個業務流程存在多個分支結果時,您需要新建一個虛擬節點(例如,業務流程_end_虛擬節點),業務流程_end_虛擬節點依賴上游多個分支結果,當業務流程_end_虛擬節點執行成功,則表示該業務流程執行完成。
創建并使用虛擬節點
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
創建業務流程。
如果您已有業務流程,則可以忽略該步驟。
鼠標懸停至圖標,選擇新建業務流程。
在新建業務流程對話框,輸入業務名稱。
單擊新建。
創建虛擬節點。
鼠標懸停至圖標,選擇 。
您也可以找到相應的業務流程,右鍵單擊業務流程,選擇
。在新建節點對話框中,輸入名稱,并選擇節點類型及路徑。
說明節點名稱必須是大小寫字母、中文、數字、下劃線(_)和小數點(.),且不能超過128個字符。
單擊確認,進入虛擬節點編輯頁面。
任務調度配置。
提交并發布節點任務。
單擊工具欄中的圖標,保存節點。
單擊工具欄中的圖標,提交節點任務。
在提交新版本對話框中,輸入變更描述。
單擊確定。
如果您使用的是標準模式的工作空間,任務提交成功后,需要將任務發布至生產環境進行發布。請單擊頂部菜單欄左側的任務發布。具體操作請參見發布任務。
查看周期調度任務。
單擊編輯界面右上角的運維,進入生產環境運維中心。
查看運行的周期調度任務,詳情請參見查看并管理周期任務。
如果您需要查看更多周期調度任務詳情,可單擊頂部菜單欄的運維中心,詳情請參見運維中心概述。