工作流是指由一系列相關任務組成的有序流程,每個任務之間有明確的依賴關系和執行順序。如果您需要安排任務在指定的時間運行,可以創建工作流并在工作流中定義調度節點以及調度策略。本文為您介紹如何創建和運行工作流。
前提條件
已創建工作空間,詳情請參見管理工作空間。
已完成任務開發且任務處于發布狀態。
創建工作流
進入任務編排頁面。
在左側導航欄,選擇
。在Spark頁面,單擊目標工作空間名稱。
在EMR Serverless Spark頁面,單擊左側導航欄中的任務編排。
在任務編排頁面,單擊創建工作流。
在創建工作流面板,填寫以下信息,單擊下一步。
參數
說明
工作流名稱
工作流名稱在當前空間中必須保持唯一。
資源隊列
選擇工作流默認運行的資源隊列。
說明工作流節點的資源隊列可以覆蓋該默認隊列。
其他設置
調度類型
用于定義節點在生產環境的運行方式。支持以下調度類型:
手動(默認):只能通過手動運行工作流,觸發一次運行一次。
調度器:根據調度器規則觸發工作流運行,支持按分鐘、小時、天等定時運行。
調度類型選擇為調度器時,還需配置參數調度周期和調度開始時間。
調度周期
調度周期即工作流在調度場景下自動執行的周期數,用于定義在生產環境調度系統中,多久會執行一次工作流中的代碼邏輯。調度任務會根據調度類型及周期數生成相應的周期實例,通過周期實例的方式自動調度運行周期任務。僅當調度類型為調度器時需要設置。
支持以下調度周期:
日調度:每天在指定的定時時間運行一次。
小時調度:每天指定的時間段內,調度任務按
N*1小時
的時間間隔運行一次。分鐘調度:每天指定的時間段內,調度任務按
N*指定分鐘
的時間間隔運行一次。
調度開始時間
工作流調度開始的日期和時間。默認為當前時間。僅調度器類型需要設置。
重要在創建調度器類型的工作流后,需要在任務編排頁面開啟調度狀態開關,以便在指定的生效時間點觸發運行。
失敗重試次數
工作流節點運行失敗后的重試次數。默認不重試。
說明工作流節點的配置仍可以覆蓋該參數。
失敗通知
工作流運行失敗后的通知郵箱。
標簽
可以為工作流設置標簽名和標簽值。
編輯工作流節點。
在編輯工作流頁面,單擊下方的添加節點。
在彈出的添加節點面板中,配置節點相關參數。
參數
說明
來源文件路徑
工作流節點所對應的任務路徑,該路徑所對應的任務必須為已發布狀態。
節點類型
工作流節點的類型。默認情況下,系統會根據路徑所對應的任務推測工作流節點的類型。
節點名稱
自定義節點的名稱。會根據任務源自動補齊名稱。
上游節點
工作流節點的上游節點。上游節點必須是在當前工作流中已創建的節點。
首個節點不需要設置上游節點。
重試次數
使用工作流中定義的重試次數。默認不重試。
超時時間(秒)
工作流節點單次運行的超時時間。默認不限制。
狀態訂閱
可以指定郵箱來訂閱工作流節點的指定狀態。
標簽
工作流節點的標簽對。默認情況下,每個工作流節點都會自動包含workflow_name和task_name兩個內置標簽鍵值對。
資源隊列
工作流節點運行所使用的資源隊列,默認情況下會采用工作流定義的資源隊列,但是可以通過配置來覆蓋創建工作流時的資源隊列。
重要對于已經設置了資源隊列的工作流節點,如果后續修改了工作流所對應的資源隊列,系統仍然會以工作流節點的配置為準。
說明如果您的任務來源為SQL開發,您還需配置任務參數。任務參數默認繼承任務模板,您可以通過修改任務模板來調整默認值,參數詳情請參見管理默認配置。
單擊保存。
初始節點配置完成后,您可以單擊頁面下方的添加節點來添加更多節點。
發布工作流。
單擊右上角的發布工作流。
在發布對話框中,可以輸入發布信息,然后單擊確定。
運行工作流
每運行一次工作流,都會在工作流詳情頁面的工作流實例列表頁簽產生一個工作流實例。
調試運行
編輯工作流時,您可以調試運行最新版本的工作流。
選擇
。在編輯運行參數對話框中,選擇開發環境的資源隊列,然后單擊保存。
單擊調試運行。
系統調度
創建工作流時配置了調度類型選擇了調度器,創建完成后打開調度狀態開關,可以在指定的生效時間點觸發工作流運行。
手動運行
在任務編排頁面,單擊目標工作流的名稱,然后單擊右上角的手動運行,觸發當前工作流的運行。
查看運行狀態
您可以在目標工作流的工作流運行狀態和工作流節點運行狀態列中,查看該工作流運行的所有工作流實例和節點的運行狀態。
工作流運行狀態
狀態
說明
藍色
運行中
綠色
運行成功
紅色
運行失敗
紫色
等待中
工作流節點運行狀態
狀態
說明
藍色
運行中
綠色
運行成功
紅色
運行失敗
黃色
重試中
紫色
等待中
相關文檔
任務編排相關概念,詳情請參見基本概念。
查看工作流實例、節點實例等信息,詳情請參見管理工作流實例和節點實例。