日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

運行及排錯

本文為您介紹如何實現節點的運行、運維,并通過查看日志進行排錯。

背景信息

設置周期和依賴的操作中,您配置了每周二凌晨2點執行離線同步節點。提交節點后,需要到第2天才能看到調度系統自動執行的結果。DataWorks為您提供測試運行、補數據和周期運行三種觸發方式,幫助您確認實例運行的定時時間、相互依賴關系、數據結果產出是否符合預期。

  • 測試運行:手動觸發方式。如果您僅需要確認單個節點的定時情況和運行,建議您使用測試運行。詳情請參見測試實例

  • 補數據運行:手動觸發方式。如果您需要確認多個節點的定時情況和相互依賴關系,或者需要從某個根節點開始重新執行數據分析計算,建議您使用補數據運行。詳情請參見執行補數據并查看補數據實例

  • 周期運行:系統自動觸發方式。提交成功的節點,調度系統在第二天0點起會自動觸發當天不同時間點的運行實例,并在定時時間達到時檢查各實例的上游實例是否運行成功。如果定時時間已到并且上游實例全部運行成功,則當前實例會自動觸發運行,無需人工干預。詳情請參見查看周期實例

說明

手動觸發和自動調度的調度系統與周期生成實例的規則一致:

  • 無論周期選擇小時、分鐘、日、月或周,節點在每一個日期都會生成對應的實例。

  • 僅在指定日期的對應實例,會定時運行并生成運行日志。

  • 非指定日期的對應實例不會實際運行,而是在滿足運行條件時,將狀態直接轉換為成功,因此不會有運行日志生成。

關于任務運維的更多操作和功能說明,請參見運維中心模塊。

測試運行

  1. 單擊當前頁面左上角的image.png圖標,選擇全部產品 > 數據開發與運維 > 運維中心(工作流),進入運維中心頁面。

  2. 在左側導航欄,單擊周期任務運維 > 周期任務

  3. 在彈出的頁面中,找到目標節點,在操作列中單擊測試

  4. 冒煙測試對話框中,輸入冒煙測試名稱,并選擇業務日期,單擊確定

  5. 自動跳轉至測試實例頁面,單擊相應的實例,即可在右側查看實例DAG圖。

    右鍵單擊實例,您可以查看該實例的依賴關系和詳細信息,并進行終止運行、重跑等具體操作。

    說明
    • 測試運行是手動觸發節點,只要到定時的時間,立即運行,自動忽略實例的上游依賴關系。

    • 根據前文所述的實例生成規則,配置為每周二凌晨2點運行的節點write_result,測試運行時選擇的業務日期是周一(業務日期=運行日期-1),實例會在2點真正運行。如果不是周一,則實例在2點轉換為成功狀態,且沒有日志生成。

補數據運行

如果需要確認多個節點的定時情況和相互依賴關系,或者需要從某個根節點開始重新執行數據分析計算,您可以進行補數據操作。

  1. 運維中心頁面,單擊左側導航欄中的周期任務運維 > 周期任務

  2. 單擊目標節點右側操作列的補數據 > 當前節點

  3. 配置補數據對話框中的參數,單擊確定

    參數

    描述

    補數據名稱

    輸入補數據名稱。

    選擇業務日期

    選擇補數據的業務日期,業務日期為運行日期-1

    當前任務

    默認為當前節點,不可以更改。

    是否并行

    可以選擇不并行或指定允許幾組任務同時運行。

  4. 自動跳轉至補數據實例頁面,單擊相應的實例,即可看到實例DAG圖。

    右鍵單擊實例,可以查看該實例的依賴關系和詳細信息,并進行終止運行、重跑等具體操作。

    說明
    • 補數據任務的實例依賴前一天,例如補2017-09-15到2017-09-18時間段內的任務,如果15號的實例運行失敗了,則16號的實例也不會運行。

    • 根據前文所述的實例生成規則,配置為每周二凌晨2點運行的節點write_result,補數據運行時選擇的業務日期是周一(業務日期=運行日期-1),實例會在2點真正運行。如果不是周一,則實例在2點轉換為成功狀態,且沒有日志生成。

周期自動運行

周期自動運行,由系統根據所有節點的調度配置自動觸發,所以頁面沒有操作入口。您可以通過以下兩種方式查看實例信息和運行日志:

  1. 運維中心頁面,單擊左側導航欄中的周期任務運維 > 周期實例,選擇業務日期或運行日期等參數,搜索write_result節點對應的實例后,右鍵查看實例信息和運行日志。

  2. 選擇周期實例頁面中相應的節點實例并單擊,即可看到實例DAG圖。

    右鍵單擊實例,可以查看該實例的依賴關系和詳細信息并進行終止運行、重跑等具體操作。

    說明
    • 如果上游節點未運行,下游節點也不會運行。

    • 如果節點的實例初始狀態為未運行,當定時時間到達時,調度系統會檢查該實例的全部上游實例是否運行成功。

    • 只有上游實例全部運行成功,且定時時間到達的實例,才會被觸發運行。

    • 處于未運行狀態的實例,請確認上游實例已經全部成功且已到定時時間。