本文為您介紹等待資源的相關問題。

為什么會出現等待資源?

  • 問題現象
    調度將任務下發到對應執行引擎上,此過程可能會出現以下等待資源問題:
    • 等待調度資源組。
    • 數據集成任務等待數據集成資源。
    • 計算任務等待引擎計算資源。
  • 產生原因

    資源組下可用資源是有限的,如果有任務長時間執行未釋放資源必定會阻塞其他任務執行,關于任務下發機制,詳情請參見:DataWorks資源組概述

  • 解決措施
    您可進入運維中心 > 智能診斷,輸入實例ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務占用了資源。快速定位長期占用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
    等待資源的實例節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在運行的任務。診斷資源

為什么任務一直在等待gateway調度資源?

  • 問題現象

    任務日志中顯示等待gateway調度資源。

  • 產生原因

    當前資源組里的任務并發數達到上限。

  • 解決措施
    需要等待運行中的任務執行完成釋放資源,或者對獨享調度資源組進行擴容。您可以通過以下方式查看資源信息。
    • 使用公共調度資源組
      • 通過智能診斷查看
        您可進入運維中心 > 智能診斷,輸入實例ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務占用了資源。快速定位長期占用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的實例節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在運行的任務。診斷資源
      • 通過運維大屏查看
        您可在運維中心運維大屏頁面,查看公共資源組使用率。
        說明 每天0點~9點是DataWorks的任務高峰期,公共調度資源緊張,可能出現任務等待資源的情況。 您可以錯峰運行調度任務或者在DataWorks控制臺添加獨享調度資源組緩解資源緊張情況。
    • 使用獨享調度資源組,您可以通過DataWorks控制臺或者運維中心查看該資源組當前執行的任務列表及資源水位。
      • 通過智能診斷查看
        您可進入運維中心 > 智能診斷,輸入實例ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務占用了資源。快速定位長期占用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的實例節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在運行的任務。診斷資源
      • 通過DataWorks控制臺查看
        DataWorks控制臺的左側導航欄,單擊資源組列表,在資源組列表頁面查看資源使用率,單擊使用率查看資源組信息資源使用率等。使用率
      • 通過資源運維查看
        運維中心頁面的左側導航欄,單擊資源運維,查看資源的使用率等信息。資源運維
        說明 不同規格的獨享調度資源組支持同時跑的最大實例數不同,詳情請參考獨享調度資源組計費說明:包年包月

為什么數據集成任務一直顯示wait?

  • 問題現象

    數據集成任務日志中顯示wait。

  • 產生原因
    當前數據集成資源組上執行的任務超過了機器支持的并發上限,任務在等待數據集成執行資源。
    說明 如果資源使用率高但實際無任務執行或資源組上可執行任務數未達資源組上限但仍無法執行任務,您可以單擊申請鏈接或掃描下方二維碼加入DataWorks釘釘交流群進行售前售后咨詢,咨詢可直接@智能機器人,值班時間段內也可直接聯系值班人員。DataWorks釘釘交流群二維碼如下。技術支持二維碼
  • 解決措施:
    • 檢查日志(任務配置)中concurrent參數值,如果并發任務設置過大,需根據機器支持的最大并發數與當前同時消耗的并發數配置任務并發。
    • 如果單個任務并發設置超過了機器支持的最大并發數,請將這些并發任務全部停掉,修改任務并發數后再去執行。
      運維中心頁面左側導航欄,單擊運維大屏,在運維大屏頁面的數據集成頁簽,查看同步任務執行詳情同步任務執行詳情同步任務執行詳情
      說明
      • 任務并發配置需要結合機器支持的最大并發數、同時執行的任務數據、以及每個任務設置的并發和來分配單個任務并發數配置。
      • 一個數據集成任務將占用一個調度資源,若任務長時間未運行成功,可能將阻塞其他任務運行。
    • 等待運行中的任務執行完成釋放資源,或者對獨享數據集成資源組進行擴容。您可以通過以下方式查看資源信息。
      說明 數據集成任務等待資源組,可參考離線同步任務調優進行處理。
      • 通過智能診斷查看
        您可進入運維中心 > 智能診斷,輸入實例ID,對任務進行全鏈路分析,查看當前任務執行、排隊情況,以及當前任務等待資源時,哪些任務占用了資源。快速定位長期占用資源,阻塞鏈路執行的任務。詳情請參見智能診斷智能診斷
        等待資源的實例節點,右鍵選擇運行診斷 > 調度資源,查看當前任務運行狀態等待資源時,仍在運行的任務。診斷資源
      • 通過DataWorks控制臺查看
        DataWorks控制臺的左側導航欄,單擊資源組列表,在資源組列表頁面查看資源使用率,單擊使用率查看資源組信息資源使用率等。使用率
      • 通過資源運維查看
        運維中心頁面的左側導航欄,單擊資源運維,查看資源的使用率和運行中的任務等信息。資源運維
        說明 不同規格的獨享數據集成資源組支持同時跑的最大實例數不同,詳情請參考:獨享數據集成資源組計費說明:包年包月