注意事項
周期任務定時生成周期實例,實例會按最新的代碼運行任務。如果您的任務在實例生成后修改了代碼并重新提交發布,則未運行的實例會拉取最新的代碼運行任務。
如果您需要監控任務的執行情況,需要先對該任務設置相應的監控規則,詳情請參見智能監控概述。對于配置了監控報警的任務,如果運行失敗但您未收到報警信息,請檢查是否已在報警聯系人頁面配置了您的手機號碼與郵箱地址,詳情請參見報警信息。
首次生成周期實例的時間與您選擇的實例生成方式有關,實例生成方式包括T+1次日生成和發布后即時生成,詳情請參見實例生成方式。
進入周期實例頁面
進入運維中心頁面。
在左側導航欄單擊,進入周期實例頁面。
在該頁面,您可通過不同視角查看實例的運行情況。
周期實例視角
單擊,進入周期實例視角運維界面。
查看實例列表
功能 | 描述 |
篩選指定條件的實例(區域1) | 您可通過篩選條件過濾出需要查詢的實例。
說明 默認篩選的業務日期是當前時間的前一天。 支持通過實例ID進行過濾,節點ID與實例ID的關系如下: 對于配置了監控報警的實例,您可勾選過去24h產生告警的節點,過濾當前時間點24小時內產生了報警的實例列表。過去24小時內產生過報警的實例,可通過單擊該實例DAG圖中的告警圖標查看報警詳情。詳情請參見智能監控概述。 篩選條件中的變慢節點表示指定業務日期內運行狀態為運行中的實例,同時運行時間大于過去10天平均值15分鐘的實例,會被判定為運行慢。如果歷史實例數小于4,則運行時間大于半小時的實例會被視為運行慢。
|
查看實例列表(區域2) | 該區域展示滿足過濾條件的實例列表,可查看實例的狀態、基本信息、運行時間等。 |
操作實例(區域3、4) | 您可對實例執行如下操作: DAG圖:展示周期實例的上下游依賴關系,您可在DAG圖中進行相關操作。詳情請參見附錄:DAG圖功能介紹。 運行診斷:對任務進行全鏈路分析,當任務運行不符合預期時,可使用該功能定位問題。詳情請參見智能診斷。 重跑:對運行成功或失敗狀態的任務進行重跑,當任務執行成功后,可觸發下游未運行任務的調度執行。常用于處理出錯節點和漏跑節點。 更多: 重跑下游:對運行成功或失敗狀態的任務進行重跑下游節點。您可自行選擇需要重跑的下游任務,任務執行成功后可觸發下游未運行狀態任務的調度。常用于處理數據修復。 置成功:用于將運行失敗的任務設置為成功狀態。當任務執行失敗,但希望該任務不阻塞下游任務的運行時,可以使用此功能。常用于處理出錯節點。 終止運行:用于終止不需要運行的任務,任務終止運行后,將失敗退出。僅支持對狀態為等待時間、等待資源和運行中的實例進行終止運行操作。 暫停(凍結):當前實例及其下游實例都不需要執行的時候,可選擇使用此功能。周期實例中的凍結只針對當前實例,且正在運行中的實例。凍結的周期實例不自動調度運行(不會真實跑數據),并且會阻塞它的下游節點執行(下游任務都不會自動調度)。 恢復(解凍):用于將凍結狀態的實例解凍。
說明 解凍操作僅作用于該實例,如果您周期任務仍是凍結狀態, 那么第二天生成的實例仍會是凍結狀態。 查看血緣:查看當前實例的血緣信息。 查看周期任務詳情:查看當前實例的基本信息。 查看運行日志:任務啟動運行后,可通過運行日志查看任務的詳細執行過程。日志中的核心參數介紹,請參見附錄二:運行日志參數介紹。 修改調度資源組:修改當前實例運行所使用的調度資源組。該操作不會同步修改實例所在周期任務的資源組。
批量操作:若需要操作的實例較多,可在實例列表勾選相應實例,并在頁面底部按需執行批量終止運行、重跑等操作。
|
查看實例DAG
說明 DAG圖中同周期依賴的節點以實線的形式展示,跨周期依賴的節點都會以虛線的形式展示。詳情請參見依賴關系。
功能 | 描述 |
DAG面板功能 | 單擊任務后的DAG圖,打開該任務的DAG圖。您可在圖中的1、2、3區域進行節點聚合、上下游分析、調整界面顯示等操作,詳情請參見DAG圖功能介紹。 |
操作單個實例 | 右鍵單擊目標實例,即可執行如下操作: 展開父節點:查看當前節點的上游任務,用于了解哪些節點將影響當前節點的數據產出。支持按照層級展開父節點,最多支持一次展開6級。
展開子節點:查看當前節點的下游任務,用于了解當前節點將影響哪些節點的數據產出。支持按照層級展開子節點,最多支持一次展開6級。 查看運行日志:任務啟動運行后,可通過運行日志查看任務的詳細執行過程。日志中的核心參數介紹,請參見附錄二:運行日志參數介紹。 查看代碼:用于確認生產環境當前節點的代碼。若不符合預期,請確認節點最新版本是否已經發布成功。 編輯節點:單擊后即可跳轉至數據開發頁面打開當前節點。 查看血緣:查看當前實例的血緣信息。 查看更多詳情:查看實例的基本屬性、操作日志、任務代碼等信息。 查看周期任務:查看當前實例所屬的周期任務信息。 前往任務360:進入數據治理中心,從任務關聯的基線列表、實例運行情況等多個維度全景了解任務運行詳情,進行任務治理。詳情請參見全景查看任務。 終止運行:用于終止不需要運行的任務,任務終止運行后,將失敗退出。僅支持對狀態為等待時間、等待資源和運行中的實例進行終止運行操作。 重跑:對運行成功或失敗狀態的任務進行重跑,當任務執行成功后,可觸發下游未運行任務的調度執行。常用于處理出錯節點和漏跑節點。 重跑下游:對運行成功或失敗狀態的任務進行重跑下游節點。您可自行選擇需要重跑的下游任務,任務執行成功后可觸發下游未運行狀態任務的調度。常用于處理數據修復。 置成功:用于將運行失敗的任務設置為成功狀態。當任務執行失敗,但希望該任務不阻塞下游任務的運行時,可以使用此功能。常用于處理出錯節點。 續跑:用于續跑失敗狀態的任務,續跑將從任務執行失敗的位置繼續運行,即當任務中存在多段sql的情況下,續跑可從具體失敗的sql處重新運行該任務。 觸發DQC校驗:若任務配置了數據質量規則,則可進行相關規則校驗。 緊急操作:緊急操作只對當前節點本次有效。 去除依賴:對指定任務去除依賴,可通過該功能解除當前節點的依賴關系。常用于上游失敗并與此實例沒有數據關系時,緊急去除任務的上游依賴,使當前任務能夠運行起來。
說明 需要根據任務代碼、任務血緣確認該操作是否會對數據造成影響。 修改優先級:實例任務的優先級源于實例所在基線的優先級,您可在此處根據需要重新設置,數值越大,優先級越高。 強制重跑:用于強制重跑當前節點,支持對運行成功、運行失敗、未運行的周期實例進行此操作,常用于數據修復。 強制重跑下游:用于重刷業務日期昨天和前天的數據,僅支持對運行成功、運行失敗的周期實例進行此操作,常用于數據修復。詳情請參見附錄:強制重跑下游。
說明 僅工作空間管理員、租戶管理員、阿里云主賬號可以發起強制重跑下游的操作。 克隆實例:可基于當前運行中狀態的實例(宿主實例),生成一個配置相同的新實例(克隆實例)。新實例命名格式為dw_clone_節點名 。
暫停(凍結):當前實例及其下游實例都不需要執行的時候,可選擇使用此功能。周期實例中的凍結只針對當前實例,且正在運行中的實例。凍結的周期實例不自動調度運行(不會真實跑數據),并且會阻塞它的下游節點執行(下游任務都不會自動調度)。 恢復(解凍):用于將凍結狀態的實例解凍。
說明 解凍操作僅作用于該實例,如果您周期任務仍是凍結狀態, 那么第二天生成的實例仍會是凍結狀態。
|
查看單個實例詳情 | 在上圖的模塊4區域。您可以進行如下操作: |
業務流程視角
單擊,進入業務流程視角運維界面。
說明 業務流程視角下,僅展示業務流程內的依賴,如果存在跨業務流程、工作空間的依賴,您需要切換至周期實例視角進行查看。
查看業務流程列表
功能 | 描述 |
業務流程運行狀態概覽 | 業務流程列通過可視化圖標為您展示業務流程的運行狀態,列表模式中統計正常任務,即不包括空跑類型和凍結類型的任務,DAG面板中將會展示所有類型的任務。 :當前業務流程下,運行中狀態的實例個數。 :當前業務流程下,運行成功的實例個數。 :當前業務流程下,運行失敗的實例個數。 :當前業務流程下,非上述狀態的實例個數。
|
業務流程運維操作 | 您可以對業務流程進行如下操作: DAG圖:用于查看該業務流程DAG圖。業務流程視角下,將默認對該業務流程下的小時分鐘任務進行成組展示,業務流程視角下單個實例的操作與周期實例視角的操作一致。詳情請參見周期實例DAG。 重跑:用于重跑當前業務流程下所有任務或指定任務。 終止運行:用于終止當前運行中的業務流程。 凍結:用于凍結當前業務流程的運行,凍結后該業務流程下的實例將不會執行。 解凍:用于對凍結狀態的業務流程進行解凍操作,解凍后將默認業務流程為失敗狀態,您可重跑該業務流程。 置成功:用于置成功當前業務流程,置成功后業務流程下的節點將顯示為成功狀態。
|
附錄一:查看實例詳情
功能 | 描述 |
屬性 | 您可以在此頁簽查看任務在生產環境的調度屬性。界面參數詳情請參見:調度配置。 節點ID和實例ID的關系: 對于小時或分鐘調度的節點任務,您可基于節點ID定位該節點當天生成的所有小時或分鐘實例,若要定位到某個具體的小時或分鐘實例,您可通過實例ID進行精準定位。 任務狀態:任務狀態與任務運行有關,若任務處于未運行、等待時間、等待資源、凍結等狀態時,您可以通過運行診斷來快速定位問題。 等待資源耗時:當任務出現長時間等待資源的情況,您可以使用運行診斷功能定位當前任務運行時,哪些任務在占用資源,快速找到異常任務進行排查。 運行時長:當任務運行時間與歷史運行情況相比明顯變長,您可參考以下場景進行處理。 規則監控:您可以查看當前實例關聯的監控規則情況,支持您單擊右側的新建快速創建任務運行狀態監控規則,詳情請參見規則管理。
說明 此處僅支持查看監控任務運行狀態的規則關聯詳情,不支持查看數據質量監控規則。 基線監控:您可以查看當前實例關聯的基線情況,支持您單擊右側的新建快速創建基線,詳情請參見基線管理。 標簽:此處展示您在標簽管理中自定義的標簽,如果當前節點存在待治理問題,也會以標簽形式展示,您可以前往數據治理中心查看詳情。
|
上下文 | 為您展示當前任務的所有輸入參數和輸出參數,詳情請參見配置節點上下文。 |
運行日志 | 任務啟動運行后,可通過運行日志查看任務的詳細執行過程。日志中的核心參數介紹,請參見附錄二:運行日志參數介紹。 |
操作日志 | 用于查看任務或實例的操作記錄(時間、操作人、具體操作)。 |
代碼 | 用于查看生產環境當前任務的最新代碼。若不符合預期,請確認任務最新版本是否已經發布成功。詳情請參見發布任務。 |
附錄二:運行日志參數介紹
任務啟動運行后,您可通過運行日志查看任務的運行詳情,日志中的核心參數介紹如下。
參數 | 描述 |
SKYNET_ONDUTY | 任務責任人。 |
SKYNET_PARAVALUE | 調度參數列表。 |
SKYNET_TASKID | 實例ID。 |
SKYNET_ID | 節點ID。 |
SKYNET_NODENAME | 節點名稱。 |
SKYNET_APPNAME | 工作空間名稱。 |
SKYNET_REGION | 工作空間所在地域。 |
SKYNET_CYCTIME | 節點的定時運行時間。 |