本文為您介紹如何實現節點的運行、運維,并通過查看日志進行排錯。
背景信息
在設置周期和依賴的操作中,您配置了每周二凌晨2點執行離線同步節點。提交節點后,需要到第2天才能看到調度系統自動執行的結果。DataWorks為您提供測試運行、補數據和周期運行三種觸發方式,幫助您確認實例運行的定時時間、相互依賴關系、數據結果產出是否符合預期。
測試運行:手動觸發方式。如果您僅需要確認單個節點的定時情況和運行,建議您使用測試運行。詳情請參見測試實例。
補數據運行:手動觸發方式。如果您需要確認多個節點的定時情況和相互依賴關系,或者需要從某個根節點開始重新執行數據分析計算,建議您使用補數據運行。詳情請參見執行補數據并查看補數據實例。
周期運行:系統自動觸發方式。提交成功的節點,調度系統在第二天0點起會自動觸發當天不同時間點的運行實例,并在定時時間達到時檢查各實例的上游實例是否運行成功。如果定時時間已到并且上游實例全部運行成功,則當前實例會自動觸發運行,無需人工干預。詳情請參見查看周期實例。
手動觸發和自動調度的調度系統與周期生成實例的規則一致:
無論周期選擇小時、分鐘、日、月或周,節點在每一個日期都會生成對應的實例。
僅在指定日期的對應實例,會定時運行并生成運行日志。
非指定日期的對應實例不會實際運行,而是在滿足運行條件時,將狀態直接轉換為成功,因此不會有運行日志生成。
關于任務運維的更多操作和功能說明,請參見運維中心模塊。
測試運行
單擊當前頁面左上角的圖標,選擇
,進入運維中心頁面。在左側導航欄,單擊
。在彈出的頁面中,找到目標節點,在操作列中單擊測試。
在冒煙測試對話框中,輸入冒煙測試名稱,并選擇業務日期,單擊確定。
自動跳轉至測試實例頁面,單擊相應的實例,即可在右側查看實例DAG圖。
右鍵單擊實例,您可以查看該實例的依賴關系和詳細信息,并進行終止運行、重跑等具體操作。
說明測試運行是手動觸發節點,只要到定時的時間,立即運行,自動忽略實例的上游依賴關系。
根據前文所述的實例生成規則,配置為每周二凌晨2點運行的節點write_result,測試運行時選擇的業務日期是周一(業務日期=運行日期-1),實例會在2點真正運行。如果不是周一,則實例在2點轉換為成功狀態,且沒有日志生成。
補數據運行
如果需要確認多個節點的定時情況和相互依賴關系,或者需要從某個根節點開始重新執行數據分析計算,您可以進行補數據操作。
在運維中心頁面,單擊左側導航欄中的
。單擊目標節點右側操作列的
。配置補數據對話框中的參數,單擊確定。
參數
描述
補數據名稱
輸入補數據名稱。
選擇業務日期
選擇補數據的業務日期,業務日期為
運行日期-1
。當前任務
默認為當前節點,不可以更改。
是否并行
可以選擇不并行或指定允許幾組任務同時運行。
自動跳轉至補數據實例頁面,單擊相應的實例,即可看到實例DAG圖。
右鍵單擊實例,可以查看該實例的依賴關系和詳細信息,并進行終止運行、重跑等具體操作。
說明補數據任務的實例依賴前一天,例如補2017-09-15到2017-09-18時間段內的任務,如果15號的實例運行失敗了,則16號的實例也不會運行。
根據前文所述的實例生成規則,配置為每周二凌晨2點運行的節點write_result,補數據運行時選擇的業務日期是周一(業務日期=運行日期-1),實例會在2點真正運行。如果不是周一,則實例在2點轉換為成功狀態,且沒有日志生成。
周期自動運行
周期自動運行,由系統根據所有節點的調度配置自動觸發,所以頁面沒有操作入口。您可以通過以下兩種方式查看實例信息和運行日志:
在運維中心頁面,單擊左側導航欄中的write_result節點對應的實例后,右鍵查看實例信息和運行日志。
,選擇業務日期或運行日期等參數,搜索選擇周期實例頁面中相應的節點實例并單擊,即可看到實例DAG圖。
右鍵單擊實例,可以查看該實例的依賴關系和詳細信息并進行終止運行、重跑等具體操作。
說明如果上游節點未運行,下游節點也不會運行。
如果節點的實例初始狀態為未運行,當定時時間到達時,調度系統會檢查該實例的全部上游實例是否運行成功。
只有上游實例全部運行成功,且定時時間到達的實例,才會被觸發運行。
處于未運行狀態的實例,請確認上游實例已經全部成功且已到定時時間。