腳本實例是周期腳本任務按照定時調度時間運行生成的實例數據。后續您可以對腳本實例進行運維操作,支持的運維操作包括查看運行日志、重跑、強制重跑當前實例、強制重跑下游實例、查看節點代碼等操作。本文為您介紹如何查看并管理腳本實例。
腳本實例頁面入口
在Dataphin首頁,單擊頂部菜單欄的研發->任務運維。
按照以下操作指引,進入腳本實例頁面。
選擇項目(Dev-Prod模式需要選擇環境)->單擊周期實例->單擊腳本。
查看腳本實例列表
周期腳本任務生成腳本實例后,將在周期實例的腳本實例列表為您展示。腳本實例列表頁面展示當前實例對象、運行狀態、調度周期、業務日期、定時運行時間、開始運行時間、結束運行時間、運行時長、優先級、運維負責人、相關基線實例、資源組及支持的操作。
字段 | 說明 |
實例對象 | 運行一個周期任務得到一個周期實例對象。包含腳本名稱和腳本ID。并標識任務的調度方式。更多信息,請參見周期實例運行狀態說明。 說明 單擊實例對象排序圖標,支持根據對象名稱進行升序或倒序排序。 |
運行狀態 | 該實例目前的運行狀態包括:成功、失敗、運行中、等待調度時間、限流中、等待調度資源、未運行。各狀態標識及詳情,請參見周期實例運行狀態說明。 |
調度周期 | 實例所屬的調度周期。 |
業務日期 | 實例生成時的業務時間。 |
定時運行時間 | 實例的定時運行時間。 說明 單擊定時運行時間的圖標,支持按照定時運行時間進行升序或降序排序。 |
開始運行時間 | 實例開始運行時的時間。 說明
|
結束運行時間 | 實例運行結束時的時間。 說明
|
運行時長 | 實例開始運行到結束運行時的總時長。 說明
|
優先級 | 實例所屬的優先等級。 說明 若已開通基線功能,基線任務取所有基線中最高的作為優先級,覆蓋原有配置的任務優先級。 |
運維負責人 | 實例的運維負責人。 |
相關基線實例 | 作為末節點被保障的歸屬基線,以及作為上游節點被納入保障范圍的相關基線。 說明 若未開通基線功能,無該字段信息。 |
調度資源組 | 任務指定的實例運行時使用的調度資源組名稱。 如果任務指定的自定義資源組非可用狀態,將自動替換為使用項目默認資源組; 如果項目默認資源組非可用狀態,將自動替換為使用租戶默認資源組。即自定義資源組>項目默認資源組>租戶默認資源組。 說明 進行更換項目默認資源組操作時,此處展示更新可能會存在延遲。但實際執行將使用修改后的資源組。 租戶默認資源組:不歸屬任何項目,一個Dataphin實例只有一個默認資源組,任務沒有指定單獨的自定義資源組或者項目沒有指定項目默認資源組時,會使用租戶默認資源組來調度。 |
腳本實例列表支持的操作
操作 | 說明 |
DAG圖 | 單擊可查看該周期實例的DAG圖。更多信息,請參見周期實例DAG圖。 |
查看運行日志 | 單擊可查看該周期實例運行日志信息。不同類型的周期實例運行日志信息不同,具體以實際運行日志信息為準。 下圖為Flink_SQL批處理實例的運行日志。 |
重跑 | 單擊可重跑該周期實例。重跑操作僅支持重跑運行狀態為成功或失敗的腳本實例。執行重跑操作時,會校驗當前實例節點的上游節點的運行狀態是否全部為成功,如果校驗不成功則當前實例的運行狀態將直接被置為未運行。 如果業務場景需要執行重跑操作,您可以執行強制重跑。具體操作,請參見強制重跑當前實例。 |
查看節點代碼 | 單擊可查看當前實例的節點代碼。在Flink_SQL腳本實例下您可單擊邏輯代碼或物理代碼進行切換查看。 邏輯代碼:編寫的任務代碼。 物理代碼:編譯后生成的可在Flink引擎上運行的代碼。 |
周期任務 | 單擊可查看當前實例所屬的周期任務。 |
編輯開發節點 | 單擊可快捷的跳轉到該實例的開發頁面,您可對該實例進行修改。 說明 僅Dev-Prod模式項目空間的腳本實例支持編輯開發節點。 |
查看生產節點 | 單擊可快捷的跳轉到該實例的生產頁面。 說明 僅Dev-Prod模式項目空間的腳本實例支持查看開發節點。 |
編輯節點 | 通過腳本實例列表區或DAG圖進入Basic項目中,編輯生成腳本實例的腳本任務。 說明 僅Basic模式項目空間的腳本實例支持編輯節點。 |
重跑下游 | 將重跑該實例的下游節點。重跑下游僅支持重跑運行狀態為成功或失敗腳本實例的下游節點。下游運行狀態為等待中(等待調度時間、等待調度資源)或運行中的實例無法被重跑。具體操作,請參見重跑下游。 如果需全鏈路重跑,建議您使用強制重跑下游實例。具體操作,請參見強制重跑下游實例。 重跑下游操作多用于如下場景:
|
置成功繼續調度 | 可將運行失敗或未運行的腳本實例節點手動置運行成功,繼續參與調度。單擊置成功繼續調度,并在置成功繼續調度提示對話框中單擊確定,即可完成設置。 |
終止 | 僅成功、失敗、未運行的實例不支持終止,其他狀態實例均支持進行終止操作。終止后實例的運行狀態變更為失敗。當前實例節點終止運行后,該節點的下游節點也不會運行。 終止操作多用于如下場景:
|
強制重跑 | 強制重跑支持強制重跑當前實例和強制重跑下游實例。
重要 強制重跑不會校驗上游是否全部運行成功以及釋放到達當前實例的定時運行時間,存在運行失敗或產生數據質量問題的風險,請確認對下游數據無影響后再進行操作。 |
去除上游戲依賴 | 可去除所有運行狀態的腳本實例的上游依賴。 重要 需至少保留一個上游實例。 |
暫停 | 僅未運行、等待調度時間、限流中的實例支持暫停。暫停當前腳本實例后,不影響生成該腳本實例的腳本任務對應的其他實例的運行。暫停后,當前腳本實例節點及下游依賴實例節點均不調度。 說明 暫停操作多用于資源緊張,需要先暫停低優先級的實例保證高優任務先運行。 |
恢復 | 可恢復已暫停的腳本實例節點。恢復后,當前腳本實例節點及下游實例節點正常調度。 |
修改調度資源組 | 可修改實例運行時使用的調度資源組。 說明
|
腳本實例DAG節點支持的操作
DAG圖清晰地為您展示實例節點的上下游依賴關系,同時系統支持對上下游實例節點進行運維和管理。DAG圖默認展示Main節點(選中節點)及上下游第一層節點。選中腳本實例節點,您可以對實例進行相關的運維操作。
Dataphin支持跨項目實例節點的運維管理。對跨項目的實例腳本節點進行運維操作時,需要具備實例所在項目的查看及操作權限。
DAG圖支持的操作
操作
說明
展開父節點
展開DAG圖中Main節點不同層級的依賴節點。
展開子節點
查看任務
進入生成當前實例節點的任務節點DAG圖,查看任務節點詳情、上下游節點信息及對任務節點進行運維管理等,詳情請參見周期任務。
查看操作日志
查看該實例進行相關操作的日志信息。
DAG節點支持的操作
腳本實例DAG節點支持的操作與腳本實例列表支持的操作相同。更多信息,請參見腳本實例列表支持的操作。
腳本實例批量操作
周期腳本支持的批量操作說明如下:
操作 | 說明 |
重跑 |
|
終止 |
|
置成功繼續調度 | 勾選實例后可批量將運行失敗或未運行的腳本實例節點手動置運行成功,繼續參與調度。 |
暫停 |
|
恢復 | 批量恢復暫停中的周期實例。 |
修改調度資源組 | 可修改實例運行時使用的調度資源組。 說明
|
重跑下游
在重跑下游對話框中,配置參數。
說明下游運行狀態為等待中或運行中的實例無法被重跑。如果需全鏈路重跑,建議您選擇強制重跑下游實例。具體操作,請參見強制重跑下游實例。
參數
說明
起點運行方式
定義起始節點的運行方式。支持選擇空跑運行和正常運行,詳細說明如下:
空跑運行:空跑的實例狀態顯示成功(正常調度),運行日志為空,無執行時長,不會實際跑數據。
正常運行:正常調度。
下游重跑范圍
選擇重跑下游節點的范圍,詳細說明如下:
所有失敗實例:不展示具體的下游列表,系統自動篩選所有運行狀態為失敗的下游實例進行重跑。
自定義配置:如果您需要自定義指定重跑的下游,可以選擇自定義配置,支持按照節點名稱或ID進行搜索,也可以通過運行狀態、運維負責人及所屬項目進行篩選。
單擊確定。
重跑下游后,下游實例節點數據更新。
強制重跑當前實例
在強制重跑當前實例提示對話框中單擊確定,即可完成設置。
強制重跑下游實例
在強制重跑下游對話框中,配置重跑參數。
參數
說明
起點運行方式
定義起始節點的運行方式。支持選擇空跑運行和正常運行,詳細說明如下:
空跑運行:空跑的實例狀態顯示成功(正常調度),運行日志為空,無執行時長,不會實際跑數據。
正常運行:正常調度。
下游強制重跑范圍
選擇強制重跑下游節點的范圍,詳細說明如下:
所有實例:一鍵選中起始節點的下游所有的實例節點。
自定義配置:如果您需要自定義指定重跑的下游,可以選擇自定義配置,支持按照節點名稱或ID進行搜索,也可以通過運行狀態、運維負責人及所屬項目進行篩選。
單擊確定,即可完成設置。