周期任務是指在調度系統按照調度配置周期性自動調度的任務。您可以在
列表查看指定工作空間下的周期任務,并對任務進行運維操作,包括自動調度和手動運行周期任務、查看任務運行詳情、暫停任務、下線任務等。本文為您介紹周期任務的運維操作詳情。使用說明
- 僅生產環境運維中心支持自動調度生成周期實例,開發環境運維中心不支持自動調度,且不會生成自動調度的周期實例。
- 對生產環境的任務代碼、調度配置、資源、函數進行新增、修改、下線等操作,均可通過提交和發布流程來實現。
- 任務的變更均需執行發布操作,發布成功后該變更才會在生產環境中生效。發布時可能存在發布失敗、發布流程被阻塞或發布版本不符合預期等情況,因此,建議您在任務發布后,進入查看并管理周期任務。 界面進行排查。詳情請參見
運維操作概述
本文為您介紹周期任務的運維操作詳情。
運維操作 | 說明 |
查看周期任務 | 您可以在周期任務頁面通過列表及DAG圖的方式,快速查看任務的詳細信息并執行相關操作。 |
運行周期任務 | |
管理周期任務 |
|
查看周期任務操作記錄 | 您可以查看任務或實例的操作日志、節點版本及操作歷史。 |
查看周期任務
周期任務列表中為您展示生產環境下調度系統按照調度配置自動定時運行的任務,您可以檢查任務代碼、調度參數、調度依賴、節點血緣等是否符合預期。同時,支持您通過列表及DAG圖的方式,快速查看任務的詳細信息并執行相關操作。詳情請參見:查看并管理周期任務。
說明
- 僅發布至生產環境的任務才可以在運維中心的周期任務列表中看到。
- 當任務展開父節點時沒有依賴任何父節點,或者某任務為上游任務但又同時依賴了自己的下游任務,導致依賴關系成環。這兩種類型的任務在自動調度時將不會被調度調起。
運行周期任務
您可了解DataWorks任務運行方式,并根據任務執行情況快速進行運維診斷。
運行方式
DataWorks每晚會根據周期任務自動生成第二天待運行的周期實例,同時支持您手動觸發周期任務,分別生成補數據實例和測試實例。
實例類型 | 應用場景 | 與周期任務的關系 (對應實例如何生成) | 實例觸發方式 (對應實例如何觸發執行) |
周期實例 | 周期性自動化進行ETL操作。 | 平臺每晚根據某一時間點周期任務快照信息自動生成第二天待運行的周期實例。 說明 開發環境運維中心不會自動調度生成周期實例。 | 平臺自動觸發周期實例執行。 |
補數據實例 | 需要對當前任務及下游任務執行補過去某一時間段或未來某段時間的數據的操作,即需要對歷史或未來時間段的數據進行ETL操作。 | 人為針對當前周期任務手動觸發補數據操作,并生成補數據實例。 | 生成補數據實例的同時觸發補數據實例執行。 |
執行測試并查看測試實例 | 需要對當前周期任務進行測試,觀察執行結果是否符合預期。 說明 測試實例的運行也在真實執行代碼邏輯。 | 人為針對當前周期任務手動觸發測試操作,并生成測試實例。 | 生成測試實例的同時觸發測試實例執行。 |
任務運行條件和問題定位
任務運行的條件
調度任務運行需要滿足上游任務運行成功、當前任務定時時間已到、調度資源充足、當前任務未凍結等條件,詳情請參見:調度任務運行的必要條件。
任務運行問題診斷
問題現象:當任務到定時時間,但還未運行時,可能原因是該節點所有依賴的父節點還未運行成功、任務定時時間未到、項目下沒有足夠的調度資源可讓任務運行、任務被凍結等。
問題排查:建議您先通過DAG面板中的上游分析功能,快速定位阻塞當前任務運行的關鍵上游任務,再通過運行診斷功能,診斷關鍵實例未運行的原因或存在的問題,當任務依賴復雜時,您可以通過該功能快速定位問題,提升運維效率。更多詳情請參見任務到定時時間,為什么還沒運行?、等待資源、任務凍結與解凍。
緊急運維操作
- 當上游任務未運行,且存在多個父節點依賴時。如果要緊急運行某任務,您可以右鍵單擊未運行實例,選擇說明 需要根據任務代碼、任務血緣確認該操作是否會對數據造成影響。 。
- 當發生大范圍的數據質量問題時,您可以右鍵單擊實例,選擇附錄:強制重跑下游。 。詳情請參見
管理周期任務
上線周期任務
任務需要先通過發布流程發布至生產調度系統后,您才可以在運維中心的周期任務列表中看到該任務。操作詳情請參見:發布任務。
下線周期任務
當某任務或業務流程無需再運行時,您可選擇下線相應任務,下線后,周期任務界面將無法找到該任務。詳情請參見下線任務。
暫停調度運行
重要 請勿隨意操作projectname_root節點,該節點為工作空間根節點。周期任務的實例均依賴于該節點,如果凍結該節點,周期實例將無法運行。
操作 | 場景 | 說明 |
暫停(凍結)周期任務 | 如果某任務及其下游任務在未來一段時間內不需要自動調度運行,您可以選擇暫停(凍結)該任務。 |
|
暫停(凍結)實例 | 如果周期任務生成的某個實例不需要運行,您可以選擇凍結該實例。 | 凍結操作僅在該實例生效。不影響當天其他實例與周期任務后期生成的實例的運行。 |
周期任務置為空跑 | 如果某任務一段時間內不需要自動調度運行,但不阻塞下游任務運行時,您可以將任務的調度類型設置為空跑調度。 | 空跑狀態的周期任務將生成空跑的實例(運行日志為空,無執行時長,不會實際跑數據)。 說明 在數據開發界面將任務的調度類型設置為暫停調度與生成運維中心對周期任務進行暫停操作效果一致。但在數據開發界面的修改僅在開發環境生效,若要在生產環境生效,需要進行發布操作。詳情請參見:發布任務。 |
說明 凍結解凍周期任務和周期實例的影響請參見:任務凍結與解凍。
任務優先級管理
您可以通過基線管理功能,管理任務的優先級,高優先級的任務將會優先獲得調度資源。詳情請參見管理基線。
任務監控報警
您可以在周期任務列表對任務配置監控規則:
- 支持針對周期任務設置周期實例調度運行時的狀態監控。詳情請參見:創建并管理自定義規則。
- 支持針對周期任務設置周期實例、補數據實例、測試實例運行時產出的表數據質量監控。詳情請參見:數據質量概述。
- 支持針對任務執行資源組設置等實例數,資源使用率監控報警。詳情請參見:創建并管理自定義規則。
修改任務資源組
支持您修改任務使用的資源組,包括修改調度資源組、修改數據集成任務執行資源組。詳情請參見通用參考:切換資源組。
修改任務責任人
需要先開啟允許子賬號修改責任人。
開啟后,空間管理員可在如下位置操作。
- 支持在數據開發修改單個任務或批量修改任務責任人
- 修改單個任務:打開 。
- 批量修改任務:批量操作頁面,請參見批量操作。
開發環境修改完成后,需要走發布流程發布,生產任務責任人變更才會生效。
- 生產環境修改:
說明 圖示 修改單個任務責任人 批量修改任務責任人 說明 生產環境修改責任人會同步變更開發環境任務責任人。
查看周期任務操作記錄
入口 | 說明 | 圖示 |
任務或實例的操作日志 | 操作日志可以查看任務或實例的變更記錄。 | |
節點版本 | 如果通過發布流程發布的操作無詳細記錄,您可以在數據開發界面,通過節點版本與生產環境版本對比,獲取版本變更的詳細情況。詳情請參見:發布任務。 | |
操作歷史 | 操作歷史可以查看任務、實例、基線的操作記錄。需求請參見:查看運維中心操作記錄。 |
常見問題
周期任務運維相關的常見問題,請參見周期任務常見問題。
文檔內容是否對您有幫助?