智能診斷
您可以使用智能診斷功能對任務(wù)進(jìn)行全鏈路分析,當(dāng)任務(wù)運行不符合預(yù)期時,您可以使用該功能快速定位問題。
功能概述
智能診斷功能可以基于以下維度對任務(wù)進(jìn)行診斷分析:
運行詳情:
檢查上游任務(wù)運行情況:上游任務(wù)運行失敗時,將阻塞當(dāng)前任務(wù)的運行。智能診斷功能可以幫助您迅速定位上游任務(wù)運行失敗的原因。
檢查是否已到達(dá)任務(wù)設(shè)置的定時運行時間。
說明在數(shù)據(jù)開發(fā)模塊中定義任務(wù)的調(diào)度屬性時,需要設(shè)置任務(wù)在調(diào)度環(huán)境中的預(yù)期運行時間,但任務(wù)實際運行時間可能由于上游任務(wù)運行失敗等問題導(dǎo)致任務(wù)實際執(zhí)行時間晚于任務(wù)定時時間。
檢查調(diào)度資源使用情況:您可以查看資源的使用情況及任務(wù)等待資源時占用該資源的任務(wù)列表。
檢查任務(wù)執(zhí)行情況:您可以查看任務(wù)的執(zhí)行日志、已關(guān)聯(lián)的數(shù)據(jù)質(zhì)量規(guī)則執(zhí)行詳情、任務(wù)的代碼詳情及診斷建議等信息。
說明調(diào)度任務(wù)運行需要滿足的條件包括:上游任務(wù)運行成功、當(dāng)前任務(wù)定時時間已到、調(diào)度資源充足、當(dāng)前任務(wù)未運行等。詳情請參見:任務(wù)運行條件。
如果上游任務(wù)為未運行狀態(tài)且上游依賴層級較深時,建議您先通過DAG面板中的上游分析功能,快速定位阻塞當(dāng)前任務(wù)運行的關(guān)鍵上游任務(wù),再通過智能診斷功能,診斷該關(guān)鍵任務(wù)未運行的原因,提升運維效率。
基本信息:支持您查看當(dāng)前任務(wù)運行的關(guān)鍵時間點。
影響的基線:支持您查看將當(dāng)前任務(wù)納入監(jiān)控范圍的基線列表及基線運行情況。智能基線詳情請參見:智能基線概述。
歷史實例運行情況:支持您通過可視化圖表和列表方式查看當(dāng)前任務(wù)近15天內(nèi)的執(zhí)行情況。
使用限制
僅DataWorks專業(yè)版及以上版本,支持使用運行診斷功能。您目前可以免費體驗,但建議您升級到專業(yè)版以獲取更多產(chǎn)品能力。版本升級詳情請參見:DataWorks各版本詳解。
運行診斷功能支持的地域如下:
華東1(杭州)、華東2(上海)、華北2(北京)、華北3(張家口)、華南1(深圳)、中國香港、日本(東京)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達(dá))、德國(法蘭克福)、美國(硅谷)、美國(弗吉尼亞)、阿聯(lián)酋(迪拜)。
進(jìn)入智能診斷
進(jìn)入運維中心頁面。
登錄DataWorks控制臺,切換至目標(biāo)地域后,單擊左側(cè)導(dǎo)航欄的 ,在下拉框中選擇對應(yīng)工作空間后單擊進(jìn)入運維中心。
進(jìn)入運維中心后,您可以通過以下兩種方式進(jìn)入智能診斷頁面。
方法一:通過實例進(jìn)入智能診斷。
在左側(cè)導(dǎo)航欄,單擊
或測試實例。找到目標(biāo)實例,單擊基本信息列中的、或圖標(biāo),進(jìn)入相應(yīng)實例的智能診斷頁面。在左側(cè)導(dǎo)航欄,單擊
。找到目標(biāo)實例,單擊基本信息列中的、或圖標(biāo),進(jìn)入相應(yīng)實例的智能診斷頁面。在實例列表模式下,單擊相應(yīng)實例操作列的運行診斷。如果當(dāng)前頁面非列表模式,您可單擊頁面中間的圖標(biāo)返回列表模式。
在DAG模式下,右鍵單擊相應(yīng)實例的DAG圖,選擇菜單中的運行診斷。如果當(dāng)前頁面非DAG圖模式,您可單擊相應(yīng)實例操作列的DAG圖,打開實例的DAG圖。
在DAG模式下,單擊相應(yīng)實例的DAG圖,在右下角的彈框中,單擊任務(wù)狀態(tài)右側(cè)的運行診斷。
方法二:在左側(cè)導(dǎo)航欄,單擊
進(jìn)入智能診斷頁面。說明智能診斷只支持通過實例ID定位具體實例,您可通過實例詳情頁獲取實例ID。
運行詳情
DataWorks根據(jù)任務(wù)運行的必要條件,將依次檢查上游任務(wù)的運行狀態(tài)、當(dāng)前任務(wù)設(shè)置的定時時間、調(diào)度資源的使用情況以及當(dāng)前任務(wù)的執(zhí)行情況:
上游依賴
智能診斷的上游依賴頁面,為您展示當(dāng)前任務(wù)的上游任務(wù)運行情況,如果上游任務(wù)未運行成功,將阻塞當(dāng)前任務(wù)運行,您可以單擊上游任務(wù)操作列的運行診斷,定位上游任務(wù)運行失敗的原因。
說明如果上游任務(wù)為未運行狀態(tài)且上游依賴層級較深時,建議您先通過DAG面板中的上游分析功能,快速定位阻塞當(dāng)前任務(wù)運行的關(guān)鍵上游任務(wù),再通過智能診斷功能,診斷該關(guān)鍵任務(wù)未運行的原因,提升運維效率。
定時檢查
定時檢查將為您檢查當(dāng)前任務(wù)的定時時間是否已到。僅當(dāng)上游依賴檢查通過時,才會觸發(fā)該檢查。
調(diào)度資源
智能診斷的調(diào)度資源頁面,為您展示資源使用趨勢。如果當(dāng)前任務(wù)該檢查未通過,則表示當(dāng)前任務(wù)運行時所使用的調(diào)度資源不足,任務(wù)將進(jìn)入等待資源狀態(tài),直到占用該調(diào)度資源的任務(wù)執(zhí)行結(jié)束,釋放資源后,才會啟動當(dāng)前任務(wù)的運行。您可以根據(jù)資源使用趨勢,合理安排任務(wù)的定時時間,以錯峰運行。
功能
描述
調(diào)度資源信息
為您展示前任務(wù)所使用的調(diào)度資源組名稱、正在該資源組上運行的任務(wù)數(shù)以及該資源組上正在等待運行的任務(wù)數(shù)。
說明推薦使用Serverless資源組來緩解資源緊張的情況。
如果使用公共調(diào)度資源組,在每天0點~9點是DataWorks的任務(wù)高峰期,公共調(diào)度資源緊張,可能出現(xiàn)任務(wù)等待資源的情況。
診斷結(jié)果
為您展示當(dāng)前任務(wù)執(zhí)行情況。
資源使用趨勢
如果使用公共調(diào)度資源組,則此處為您展示當(dāng)前調(diào)度資源組各時間段內(nèi)的資源使用率,以及當(dāng)前任務(wù)等待資源的耗時情況。
任務(wù)執(zhí)行
任務(wù)執(zhí)行為您展示當(dāng)前任務(wù)的執(zhí)行日志、已關(guān)聯(lián)的數(shù)據(jù)質(zhì)量規(guī)則執(zhí)行詳情及代碼詳情等信息,對于運行失敗的任務(wù),智能診斷功能會根據(jù)日志信息,為您提供智能診斷建議,幫助您快速獲取任務(wù)的出錯原因。
功能
描述
日志
為您展示任務(wù)的詳細(xì)執(zhí)行過程。
DQC
如果任務(wù)關(guān)聯(lián)了數(shù)據(jù)質(zhì)量規(guī)則,在任務(wù)運行時,將觸發(fā)數(shù)據(jù)質(zhì)量規(guī)則運行,您可在此處查看數(shù)據(jù)質(zhì)量規(guī)則詳細(xì)執(zhí)行情況。
代碼詳情
為您展示當(dāng)前任務(wù)的代碼詳情。
基本信息
您可以在基本信息頁面查看當(dāng)前任務(wù)運行的關(guān)鍵時間點和基本信息,相關(guān)屬性的詳細(xì)介紹請參見:調(diào)度配置。
影響基線
您可以在影響基線頁面查看將當(dāng)前任務(wù)納入監(jiān)控范圍的基線列表及基線運行情況。智能基線詳情請參見:智能基線概述。
歷史實例
您可以在歷史實例頁面查看如下信息:
當(dāng)前任務(wù)各維度指標(biāo)的變化趨勢:通過可視化圖表方式為您展示當(dāng)前任務(wù)近15天內(nèi)運行耗時、開始運行時間、等待資源耗時、完成時間的變化趨勢。
當(dāng)前任務(wù)的歷史實例運行情況:通過列表方式為您展示當(dāng)前任務(wù)的歷史實例運行詳情,包括實例開始時間、結(jié)束時間、運行時長、等待資源耗時等。支持您單擊操作列的運行診斷跳轉(zhuǎn)至對應(yīng)實例的診斷詳情頁面。