進(jìn)入運維中心

登錄運維中心控制臺，切換至目標(biāo)地域后，在下拉框中選擇對應(yīng)工作空間后，單擊進(jìn)入運維中心。

操作流程

階段一：測試驗證調(diào)度任務(wù)

1. 步驟一：查看周期任務(wù)配置

   為避免周期任務(wù)調(diào)度不符合預(yù)期，建議您在任務(wù)發(fā)布后先檢查周期任務(wù)配置的調(diào)度參數(shù)、調(diào)度資源組等是否正確。若不符合預(yù)期，請修改相應(yīng)配置并重新發(fā)布。

2. 步驟二：測試周期任務(wù)

   通過冒煙測試功能驗證周期任務(wù)在生產(chǎn)環(huán)境執(zhí)行是否正確。若執(zhí)行出錯，請根據(jù)報錯及時處理，保障任務(wù)可正常運行。

3. 步驟三：周期任務(wù)補(bǔ)歷史數(shù)據(jù)

   通過補(bǔ)數(shù)據(jù)功能可重新計算歷史時間段內(nèi)的數(shù)據(jù)。

4. 步驟四：查看周期實例

   周期任務(wù)發(fā)布成功后會根據(jù)調(diào)度周期生成周期實例，如果在DataStudio中配置的實例生成方式為T+1次日生成，則任務(wù)將在第二天開始調(diào)度；如果配置為發(fā)布后即時生成，則任務(wù)當(dāng)天便會調(diào)度。您可查看調(diào)度實例的生成及運行情況，判斷任務(wù)的周期調(diào)度是否正常。

5. 步驟五：查看執(zhí)行結(jié)果

   節(jié)點執(zhí)行測試或補(bǔ)數(shù)據(jù)操作后，您可查看數(shù)據(jù)的寫入情況。

階段二：監(jiān)控周期調(diào)度任務(wù)

1. 步驟六：創(chuàng)建自定義監(jiān)控規(guī)則

   您可根據(jù)業(yè)務(wù)需求，為周期調(diào)度任務(wù)配置智能監(jiān)控規(guī)則，監(jiān)控任務(wù)的調(diào)度運行狀況，保障該任務(wù)后續(xù)可以正常調(diào)度。

2. 步驟七：創(chuàng)建智能基線（進(jìn)階）

   為保障高優(yōu)先級任務(wù)可在指定時間順利產(chǎn)出數(shù)據(jù)，您可為該任務(wù)設(shè)置智能基線監(jiān)控，當(dāng)預(yù)測到任務(wù)無法在指定時間點完成時，基線會主動發(fā)送任務(wù)異常信息，幫助您及時獲取并快速處理異常。

3. 步驟八：創(chuàng)建資源組自動運維規(guī)則

   通過自定義獨享資源組的監(jiān)控規(guī)則，對獨享資源組的使用率及資源組上等待的實例數(shù)設(shè)置監(jiān)控報警，并進(jìn)行相關(guān)運維操作。

步驟一：查看周期任務(wù)配置

為避免周期任務(wù)調(diào)度不符合預(yù)期，建議您在任務(wù)發(fā)布后先查看該任務(wù)的配置（例如，任務(wù)的調(diào)度參數(shù)、節(jié)點依賴關(guān)系等）是否正確。

1. 進(jìn)入運維中心。

2. 查找目標(biāo)節(jié)點。

   1. 在左側(cè)導(dǎo)航欄單擊周期任務(wù)運維 > 周期任務(wù)。

   2. 在周期任務(wù)頁面搜索目標(biāo)節(jié)點。

3. 查看節(jié)點詳情。

   1. 單擊目標(biāo)節(jié)點，進(jìn)入節(jié)點DAG圖。

   2. 單擊展開詳情，查看節(jié)點的詳細(xì)信息。

本文示例在周期任務(wù)列表中，查找已發(fā)布的result_table節(jié)點，查看其調(diào)度參數(shù)、調(diào)度資源組配置是否正確。

步驟二：測試周期任務(wù)

通過對周期任務(wù)執(zhí)行冒煙測試，驗證該任務(wù)在生產(chǎn)環(huán)境的調(diào)度運行是否符合預(yù)期。該操作將真實執(zhí)行代碼邏輯。

1. 進(jìn)入冒煙測試。

   您可通過如下兩種方式進(jìn)入冒煙測試頁面。

   • 方式一：在周期任務(wù)列表，單擊目標(biāo)任務(wù)操作列的測試。

   • 方式二：在目標(biāo)任務(wù)的DAG圖，右鍵單擊該任務(wù)，選擇測試。

2. 配置任務(wù)測試運行的業(yè)務(wù)日期及運行時間，單擊確定。

   任務(wù)測試運行時會生成測試實例，您可進(jìn)入周期任務(wù)運維 > 測試實例頁面查看實例的運行詳情，判斷其運行狀況。

   說明

   • 冒煙測試更多介紹，詳情請參見執(zhí)行冒煙測試。

   • 查看測試實例，詳情請參見執(zhí)行測試并查看測試實例。

本文示例測試result_table節(jié)點的運行是否成功。您可根據(jù)圖示步驟測試運行節(jié)點，并查看所生成測試實例的執(zhí)行情況。

步驟三：周期任務(wù)補(bǔ)歷史數(shù)據(jù)

周期任務(wù)開發(fā)完成并提交發(fā)布后，會按照調(diào)度配置定時運行。如果您希望重新計算歷史時間段內(nèi)的數(shù)據(jù)，則可通過補(bǔ)數(shù)據(jù)功能實現(xiàn)。

1. 進(jìn)入補(bǔ)數(shù)據(jù)。

   您可通過如下兩種方式進(jìn)入補(bǔ)數(shù)據(jù)頁面。

   • 方式一：在周期任務(wù)列表，單擊目標(biāo)任務(wù)操作列的補(bǔ)數(shù)據(jù)。

   • 方式二：在目標(biāo)任務(wù)的DAG圖，右鍵單擊該任務(wù)，選擇補(bǔ)數(shù)據(jù)。

2. 選擇補(bǔ)數(shù)據(jù)模式。

   您可根據(jù)需求選擇如下補(bǔ)數(shù)據(jù)模式：

   補(bǔ)數(shù)據(jù)方式	描述	適用場景
   手動選擇	選擇一個或多個任務(wù)作為根任務(wù)，可基于根任務(wù)手動選擇將其下游任務(wù)作為本次補(bǔ)數(shù)據(jù)的任務(wù)范圍，支持指定部分下游節(jié)點。 說明 兼容原當(dāng)前節(jié)點、當(dāng)前節(jié)點及下游節(jié)點、高級模式等補(bǔ)數(shù)據(jù)方案。 最大支持同時補(bǔ)的根任務(wù)數(shù)上限為500，總?cè)蝿?wù)數(shù)（即根任務(wù)及其下游任務(wù)）上限為2000。	用于對當(dāng)前節(jié)點及下游節(jié)點進(jìn)行批量補(bǔ)數(shù)據(jù)操作。 用于靈活選擇一批節(jié)點進(jìn)行批量補(bǔ)數(shù)據(jù)操作，節(jié)點之間可以不存在依賴關(guān)系。
   按鏈路選擇	選擇一個起始任務(wù)作為根任務(wù)，以及一個或多個結(jié)束任務(wù)，平臺自動分析，將根任務(wù)與結(jié)束任務(wù)間的所有任務(wù)作為本次補(bǔ)數(shù)據(jù)的任務(wù)范圍（包含起始任務(wù)和結(jié)束任務(wù)）。	用于對依賴關(guān)系較復(fù)雜的任務(wù)進(jìn)行全鏈路補(bǔ)數(shù)據(jù)。
   按工作空間選擇	選擇一個任務(wù)作為根任務(wù)，并按照下游節(jié)點所在工作空間確定本次補(bǔ)數(shù)據(jù)的任務(wù)范圍。 說明 兼容原海量節(jié)點模式補(bǔ)數(shù)據(jù)方案，最大支持同時補(bǔ)的任務(wù)數(shù)上限為2W。 不支持配置任務(wù)黑名單。	若當(dāng)前節(jié)點的下游節(jié)點存在于多個工作空間，您需對工作空間的節(jié)點執(zhí)行補(bǔ)數(shù)據(jù)，可使用該方式。
   指定任務(wù)及所有下游	選擇一個根任務(wù)后，系統(tǒng)自動分析該任務(wù)及所有下游任務(wù)作為本次補(bǔ)數(shù)據(jù)的任務(wù)范圍。 重要 僅在補(bǔ)數(shù)據(jù)任務(wù)運行時，才能看到觸發(fā)了哪些任務(wù)運行，請謹(jǐn)慎使用。	用于對根任務(wù)及其全量下游任務(wù)進(jìn)行補(bǔ)數(shù)據(jù)。

3. 配置補(bǔ)數(shù)據(jù)參數(shù)。

   根據(jù)業(yè)務(wù)需求配置補(bǔ)數(shù)據(jù)的業(yè)務(wù)日期、待補(bǔ)數(shù)據(jù)的節(jié)點等。不同模式，需配置的參數(shù)存在差異，詳情請參見執(zhí)行補(bǔ)數(shù)據(jù)并查看補(bǔ)數(shù)據(jù)實例（新版）。

本文示例使用當(dāng)前節(jié)點模式，對result_table節(jié)點補(bǔ)業(yè)務(wù)日期2024-09-17 ~ 2024-09-19時間段每天00:00~01:00的數(shù)據(jù)。配置步驟參考下圖。

步驟四：查看周期實例

周期任務(wù)發(fā)布成功后會根據(jù)調(diào)度周期生成周期實例，如果在DataStudio中配置的實例生成方式為T+1次日生成，則任務(wù)將在第二天開始調(diào)度；如果配置為發(fā)布后即時生成，則任務(wù)當(dāng)天便會調(diào)度。您可查看生成的周期實例，判斷任務(wù)的調(diào)度運行是否正常。

1. 進(jìn)入周期實例。

   在運維中心左側(cè)導(dǎo)航欄，單擊周期任務(wù)運維 > 周期實例。

2. 查看周期實例。

   根據(jù)周期任務(wù)的調(diào)度配置，查看該任務(wù)是否調(diào)度生成相應(yīng)周期實例并運行正常。更多周期實例內(nèi)容，詳情請參見查看周期實例。

   若實例為未運行狀態(tài)，建議您進(jìn)行如下處理：

   1. 通過DAG面板中的上游分析功能，快速定位阻塞當(dāng)前任務(wù)運行的關(guān)鍵上游任務(wù)。

   2. 通過運行診斷功能，診斷該關(guān)鍵上游任務(wù)未運行的原因或存在的問題。當(dāng)任務(wù)依賴層級較深時，您可通過運行診斷功能快速定位問題，提升運維效率。

本文示例查看小時調(diào)度節(jié)點result_table在2024.09.19運行生成的周期實例情況。

步驟五：查看執(zhí)行結(jié)果

步驟六：創(chuàng)建自定義監(jiān)控規(guī)則

節(jié)點測試驗證無誤后，您可為節(jié)點自定義監(jiān)控規(guī)則，監(jiān)控節(jié)點運行狀態(tài)。當(dāng)節(jié)點運行出錯時DataWorks會根據(jù)配置發(fā)送相應(yīng)報警，以便您及時發(fā)現(xiàn)并處理異常，保障節(jié)點日后可正常調(diào)度。

1. 進(jìn)入運維中心。

2. 在左側(cè)導(dǎo)航欄單擊監(jiān)控報警 > 規(guī)則管理。

3. 新建自定義規(guī)則。

   1. 單擊新建自定義規(guī)則。

   2. 配置規(guī)則信息。

      您可根據(jù)業(yè)務(wù)需求，自定義所需規(guī)則，配置詳情請參見自定義監(jiān)控規(guī)則。

      本文示例為result_table節(jié)點配置運行失敗時監(jiān)控報警，具體配置如下圖。當(dāng)result_table節(jié)點運行出錯時，會觸發(fā)Test rules規(guī)則，并以短信方式發(fā)送報警給節(jié)點責(zé)任人。同時，報警信息最多發(fā)送3次，每次報警間隔30分鐘。

      說明

      請?zhí)崆芭渲脠缶?lián)系人相關(guān)信息，詳情請參見查看和設(shè)置報警聯(lián)系人。

步驟七：創(chuàng)建智能基線（進(jìn)階）

為保障任務(wù)可在指定時間內(nèi)順利產(chǎn)出，您可為任務(wù)設(shè)置基線監(jiān)控。將任務(wù)添加至基線上并設(shè)置任務(wù)優(yōu)先級和承諾時間，DataWorks將根據(jù)任務(wù)運行情況計算基線任務(wù)的預(yù)計完成時間，并使高優(yōu)先級任務(wù)優(yōu)先獲得調(diào)度資源。當(dāng)預(yù)測基線任務(wù)可能無法在承諾時間前完成時，DataWorks將發(fā)出報警，您可基于報警盡快處理異常。

1. 進(jìn)入運維中心。

2. 在左側(cè)導(dǎo)航欄單擊智能基線。

3. 新建智能基線。

   1. 在基線管理頁簽，單擊新建基線。

   2. 配置基線信息。

      您可根據(jù)業(yè)務(wù)需求，配置基線信息，配置詳情請參見新建基線。

      本文示例為result_table節(jié)點配置小時基線，監(jiān)控節(jié)點每小時的數(shù)據(jù)產(chǎn)出情況，具體配置如下圖。部分參數(shù)說明如下：

      • 優(yōu)先級：數(shù)值越大，優(yōu)先級越高。高優(yōu)先級任務(wù)在資源緊張的情況下會優(yōu)先獲得調(diào)度資源。

      • 預(yù)計完成時間：根據(jù)節(jié)點歷史一段時間的完成情況推算其預(yù)計完成時間。

      • 承諾時間：設(shè)置節(jié)點最晚需產(chǎn)出數(shù)據(jù)的時間點。您可根據(jù)業(yè)務(wù)需要及實際歷史一段時間節(jié)點的運行完成情況進(jìn)行配置。

      • 預(yù)警余量：根據(jù)承諾時間來設(shè)置一定的預(yù)警余量，用于處理任務(wù)異常情況，以保障任務(wù)可在承諾時間點完成。

        說明

        預(yù)警余量與承諾時間至少間隔5分鐘。

      當(dāng)result_table節(jié)點的小時實例無法在每小時的30分鐘內(nèi)完成時，將觸發(fā)Test Baselines基線，并以短信方式發(fā)送報警給節(jié)點責(zé)任人。同時，報警信息最多發(fā)送3次，每次報警間隔30分鐘。

步驟八：創(chuàng)建資源組自動運維規(guī)則

如果您使用的是獨享資源組運行任務(wù)，則可根據(jù)業(yè)務(wù)需求創(chuàng)建獨享資源組的自動運維規(guī)則，對資源組的使用率及資源組上等待的實例數(shù)設(shè)置監(jiān)控報警并進(jìn)行相關(guān)運維操作。

自動運維功能是通過關(guān)聯(lián)獨享資源組的監(jiān)控規(guī)則，對運行在目標(biāo)資源組上的實例任務(wù)定制監(jiān)控指標(biāo)，并結(jié)合業(yè)務(wù)邏輯自定義運維規(guī)則。當(dāng)實例任務(wù)滿足過濾條件時，將自動觸發(fā)并執(zhí)行運維動作，以達(dá)到自動運維的目的。

1. 進(jìn)入運維中心。

2. 創(chuàng)建資源組監(jiān)控規(guī)則。

   1. 在左側(cè)導(dǎo)航欄單擊監(jiān)控報警 > 規(guī)則管理。

   2. 新建并配置資源組監(jiān)控規(guī)則。

      資源組監(jiān)控規(guī)則的配置與節(jié)點的監(jiān)控規(guī)則類似，僅需將對象類型選擇獨享調(diào)度資源組即可。配置詳情請參見自定義監(jiān)控規(guī)則。

      本文示例對Exclusive_Scheduling_Resource資源組進(jìn)行資源組利用率的監(jiān)控，配置如下圖所示。

      說明

      本文僅演示配置操作，實際配置時，請為您所使用的資源組配置監(jiān)控規(guī)則。

      當(dāng)Exclusive_Scheduling_Resource資源組的資源組利用率大于90%，并且持續(xù)10分鐘時，會觸發(fā)Resource group monitoring rules規(guī)則，并以短信方式發(fā)送報警給接收人。該報警信息最多發(fā)送3次。

3. 基于資源組監(jiān)控規(guī)則配置自動運維規(guī)則。

   1. 在左側(cè)導(dǎo)航欄單擊運維助手 > 自動運維。

   2. 在規(guī)則管理頁簽單擊添加規(guī)則。

   3. 配置規(guī)則信息。

      您可根據(jù)業(yè)務(wù)需求，配置規(guī)則信息，配置詳情請參見新建資源組自動運維規(guī)則。

      本文示例創(chuàng)建Automatic_test，并關(guān)聯(lián)Resource group monitoring rules獨享調(diào)度資源組監(jiān)控規(guī)則，當(dāng)Resource group monitoring rules規(guī)則被觸發(fā)后，則DataWorks將對Automatic_test中滿足過濾條件的實例自動執(zhí)行運維操作，具體配置如下圖。部分參數(shù)說明如下：

      • 關(guān)聯(lián)監(jiān)控規(guī)則：目前僅支持關(guān)聯(lián)獨享調(diào)度資源監(jiān)控規(guī)則。您需提前創(chuàng)建所需的資源組監(jiān)控規(guī)則。

      • 運維動作：目前僅支持選擇終止運行實例。即觸發(fā)運維規(guī)則后，滿足條件的實例將被終止運行。

      當(dāng)Exclusive_Scheduling_Resource獨享調(diào)度資源組的資源組利用率大于90%，并且持續(xù)10分鐘時，DataWorks將對指定工作空間下運行在Exclusive_Scheduling_Resource資源組的周期實例、測試實例、補(bǔ)數(shù)據(jù)實例中優(yōu)先級為1的小時、分鐘任務(wù)執(zhí)行終止操作。

運維操作管控（進(jìn)階）

運維中心支持節(jié)點凍結(jié)、節(jié)點解凍、補(bǔ)數(shù)據(jù)、節(jié)點下線等擴(kuò)展點，您可使用該擴(kuò)展點結(jié)合擴(kuò)展程序，實現(xiàn)自定義管控任務(wù)的邏輯處理與運維操作。詳情請參見擴(kuò)展程序概述、應(yīng)用示例：運維中心觸發(fā)事件檢查。