運(yùn)維中心概述
運(yùn)維中心是一站式大數(shù)據(jù)運(yùn)維監(jiān)控平臺(tái)，支持實(shí)時(shí)查看任務(wù)運(yùn)行狀態(tài)，提供智能診斷、重跑等運(yùn)維操作，幫助您對異常任務(wù)進(jìn)行基礎(chǔ)運(yùn)維；提供智能基線，幫助您解決重要任務(wù)產(chǎn)出時(shí)間不可控，海量任務(wù)監(jiān)控難的問題，保障任務(wù)產(chǎn)出的時(shí)效性；提供引擎、資源、調(diào)度等多方位的運(yùn)維能力。
運(yùn)維中心功能模塊
在數(shù)據(jù)開發(fā)中完成任務(wù)開發(fā)，提交并發(fā)布后，即可在運(yùn)維中心對周期任務(wù)、手動(dòng)任務(wù)以及實(shí)時(shí)任務(wù)進(jìn)行生產(chǎn)任務(wù)運(yùn)行、任務(wù)運(yùn)行問題定位、任務(wù)運(yùn)行狀態(tài)監(jiān)控、任務(wù)運(yùn)維關(guān)鍵指標(biāo)查看、引擎任務(wù)列表查看等運(yùn)維操作。
注意事項(xiàng)
任務(wù)發(fā)布至生產(chǎn)環(huán)境后才會(huì)自動(dòng)調(diào)度運(yùn)行，開發(fā)環(huán)境內(nèi)的任務(wù)不會(huì)自動(dòng)調(diào)度運(yùn)行。
進(jìn)入運(yùn)維中心
登錄DataWorks控制臺(tái)，切換至目標(biāo)地域后，單擊左側(cè)導(dǎo)航欄的，在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入運(yùn)維中心。
任務(wù)運(yùn)維
任務(wù)運(yùn)維模塊包含了周期任務(wù)運(yùn)維、實(shí)時(shí)任務(wù)運(yùn)維以及手動(dòng)任務(wù)運(yùn)維三種任務(wù)類型的運(yùn)維，您可通過運(yùn)維大屏查看任務(wù)運(yùn)行的重要指標(biāo)，并利用運(yùn)維助手中的補(bǔ)數(shù)據(jù)、智能診斷、自動(dòng)運(yùn)維等功能對需要運(yùn)維的任務(wù)進(jìn)行多方面的運(yùn)維操作。
模塊 | 說明 | 環(huán)境支持情況 | |
運(yùn)維大屏以報(bào)表的形式為您展示調(diào)度任務(wù)的關(guān)鍵運(yùn)維指標(biāo)統(tǒng)計(jì)與數(shù)據(jù)集成離線同步與實(shí)時(shí)同步任務(wù)運(yùn)維專頁。 | 開發(fā)環(huán)境運(yùn)維中心無此模塊。 | ||
周期任務(wù)運(yùn)維 | 周期任務(wù)為您提供周期任務(wù)的DAG圖、任務(wù)測試、補(bǔ)數(shù)據(jù)等更多操作。 | 開發(fā)環(huán)境運(yùn)維中心無法自動(dòng)調(diào)度生成周期實(shí)例。 | |
周期實(shí)例為您展示周期任務(wù)提交至調(diào)度系統(tǒng)后生成的實(shí)例列表，在列表內(nèi)可進(jìn)行實(shí)例的DAG圖、運(yùn)行診斷、重跑周期實(shí)例等更多操作。 | |||
測試實(shí)例列表為您展示周期任務(wù)執(zhí)行測試操作后生成的測試實(shí)例，您可以查看測試實(shí)例的執(zhí)行情況，在列表內(nèi)可查看實(shí)例的DAG圖、運(yùn)行診斷、重跑實(shí)例等更多操作。 | |||
實(shí)時(shí)任務(wù)運(yùn)維 | 實(shí)時(shí)計(jì)算任務(wù)頁面方便您對實(shí)時(shí)計(jì)算任務(wù)進(jìn)行啟動(dòng)、停止、下線操作，以及設(shè)置監(jiān)控報(bào)警，保證在任務(wù)運(yùn)行異常時(shí)及時(shí)發(fā)現(xiàn)并處理異常。 | - | |
實(shí)時(shí)同步任務(wù)頁面方便您對實(shí)時(shí)同步任務(wù)進(jìn)行啟動(dòng)、停止、下線、修改負(fù)責(zé)人的操作，以及設(shè)置監(jiān)控報(bào)警，保證在任務(wù)運(yùn)行異常時(shí)及時(shí)發(fā)現(xiàn)并處理異常。 | - | ||
手動(dòng)任務(wù)運(yùn)維 | 在手動(dòng)任務(wù)中您可以對手動(dòng)任務(wù)進(jìn)行查詢、DAG圖查看、手動(dòng)運(yùn)行、查看實(shí)例以及更多操作。 | - | |
在手動(dòng)實(shí)例中您可以通過DAG圖的方式，快速查看實(shí)例的詳細(xì)信息并執(zhí)行查看運(yùn)行日志、運(yùn)行診斷、查看代碼、查看血緣等一系列相關(guān)操作。 | - | ||
運(yùn)維助手 | 補(bǔ)數(shù)據(jù)頁面為您提供了對補(bǔ)數(shù)據(jù)任務(wù)進(jìn)行管理操作。 | - | |
智能診斷為您提供了對任務(wù)進(jìn)行全鏈路分析的能力，您可以使用該功能快速定位問題所在。可查看任務(wù)的運(yùn)行詳情、基本信息、影響基線以及歷史實(shí)例。 | 開發(fā)環(huán)境運(yùn)維中心無此模塊。 | ||
自動(dòng)運(yùn)維為您提供了自定義的運(yùn)維規(guī)則，您可以實(shí)現(xiàn)對運(yùn)行在目標(biāo)資源組上的實(shí)例定制監(jiān)控指標(biāo)與自定義運(yùn)維規(guī)則，在觸發(fā)規(guī)則后，將會(huì)觸發(fā)運(yùn)維動(dòng)作，達(dá)成自動(dòng)運(yùn)維目的。 | - | ||
以周期實(shí)例中的任務(wù)為例，任務(wù)開始運(yùn)行前需滿足以下條件：
依賴的所有父節(jié)點(diǎn)實(shí)例狀態(tài)都為成功狀態(tài)。
已到達(dá)任務(wù)節(jié)點(diǎn)設(shè)置的任務(wù)定時(shí)運(yùn)行時(shí)間。
調(diào)度資源充足。
本任務(wù)不是凍結(jié)狀態(tài)。
運(yùn)維中心中，不同的實(shí)例顏色代表實(shí)例處于不同的狀態(tài)中，實(shí)例運(yùn)行狀態(tài)示意詳情可參考：附錄：實(shí)例運(yùn)行狀態(tài)與運(yùn)行診斷。
任務(wù)監(jiān)控
任務(wù)監(jiān)控模塊包含了智能基線、監(jiān)控報(bào)警功能，您可以通過配置智能基線功能來獲取任務(wù)異常情況并進(jìn)行預(yù)警，以及配置管理規(guī)則、報(bào)警信息以及值班表，實(shí)現(xiàn)對運(yùn)維報(bào)警的及時(shí)處理等操作。
模塊 | 描述 | 環(huán)境支持情況 | |
智能基線能夠及時(shí)捕捉導(dǎo)致基線上的任務(wù)無法按時(shí)完成的異常情況并提前預(yù)警，重要數(shù)據(jù)能在預(yù)期時(shí)間內(nèi)順利產(chǎn)出，幫助您降低配置成本、避免無效報(bào)警、自動(dòng)監(jiān)控所有重要任務(wù)。 | 開發(fā)環(huán)境運(yùn)維中心無此模塊。 | ||
監(jiān)控報(bào)警 | 規(guī)則管理為您提供了自定義監(jiān)控規(guī)則的配置，您可以通過監(jiān)控規(guī)則來監(jiān)控任務(wù)運(yùn)行狀態(tài)或資源使用情況，方便您及時(shí)發(fā)現(xiàn)任務(wù)異常并處理異常。 | ||
報(bào)警信息功能提供了統(tǒng)一管理任務(wù)監(jiān)控模塊產(chǎn)生的所有報(bào)警信息。其中包括智能基線產(chǎn)生的基線預(yù)警信息、事件報(bào)警信息、自定義規(guī)則報(bào)警信息以及全局規(guī)則報(bào)警產(chǎn)生的報(bào)警信息。 | |||
值班表為您提供了處理運(yùn)維報(bào)警的排班情況，能確保出現(xiàn)報(bào)警或?qū)嵗枰S護(hù)時(shí)可及時(shí)響應(yīng)。配置好值班表后，DataWorks將報(bào)警信息發(fā)送給對應(yīng)的值班人員，以便值班人員及時(shí)發(fā)現(xiàn)并處理問題。 | |||
其他運(yùn)維
DataWorks除了為您提供了任務(wù)運(yùn)維和智能監(jiān)控外，還為您提供了對計(jì)算引擎（E-MapReduce）詳情的查看，對資源組使用情況的監(jiān)控運(yùn)維，以及自定義調(diào)度參數(shù)，為您的日常運(yùn)維與工作提供更便利、更豐富運(yùn)維操作。
模塊 | 描述 | 環(huán)境支持情況 | |
引擎運(yùn)維為您提供了對計(jì)算引擎（E-MapReduce）作業(yè)的詳細(xì)信息進(jìn)行查看，及時(shí)查找并清理運(yùn)行有誤的作業(yè)，避免該類作業(yè)阻塞下游任務(wù)，影響實(shí)例任務(wù)正常運(yùn)行。 | 開發(fā)環(huán)境運(yùn)維中心無此模塊。 | ||
資源運(yùn)維通過可視化的方式為您展示資源組使用情況及實(shí)例任務(wù)執(zhí)行情況，實(shí)現(xiàn)資源組及實(shí)例任務(wù)的智能監(jiān)控和自動(dòng)化運(yùn)維，減少繁雜的人工操作，提高運(yùn)維管理效率。 | - | ||
調(diào)度設(shè)置為您提供了對調(diào)度日歷和工作空間參數(shù)進(jìn)行新建并管理的平臺(tái)，更方便您自定義任務(wù)調(diào)度的方式。 | - | ||
附錄：實(shí)例運(yùn)行狀態(tài)與運(yùn)行診斷
運(yùn)維中心按照不同的顏色標(biāo)識(shí)來辨識(shí)任務(wù)正處于運(yùn)行流程中的哪個(gè)階段，不同的實(shí)例顏色與標(biāo)識(shí)代表實(shí)例處于不同的狀態(tài)。不同的實(shí)例顏色與標(biāo)識(shí)所對應(yīng)的任務(wù)狀態(tài)如下所示。關(guān)于任務(wù)運(yùn)行必要條件詳情請參見：任務(wù)運(yùn)行診斷。
序號(hào) | 狀態(tài)類型 | 狀態(tài)標(biāo)識(shí) | 運(yùn)行流程圖 |
1 | 運(yùn)行成功狀態(tài) |
|
|
2 | 未運(yùn)行狀態(tài) |
| |
3 | 運(yùn)行失敗狀態(tài) |
| |
4 | 正在運(yùn)行狀態(tài) |
| |
5 | 等待狀態(tài) |
| |
6 | 暫停/凍結(jié)狀態(tài) |
|
