在DataWorks實例任務中,E-MapReduce(簡稱EMR)計算引擎任務會被分為若干作業有序執行。您可以使用DataWorks的引擎運維功能,查看各個E-MapReduce作業的詳細信息,及時查找并清理運行有誤的作業,避免該類作業阻塞下游任務,影響實例任務的正常運行。
使用限制
注意事項
部分EMR組件任務運行時支持復用YARN應用程序(即YARN Application),復用后,在DataWorks不同功能模塊運行該任務,引擎運維頁面中的作業ID(即Application ID)相同。
例如,EMR Kyuubi組件的共享級別kyuubi.engine.share.level
默認設置為USER
,即以用戶為單位,每個用戶擁有一個引擎,該用戶發起的所有引擎作業共用一個Application ID。EMR Kyuubi任務在DataWorks的數據開發執行后會生成一個Application ID,此時,再前往數據分析執行該任務,該任務在引擎運維頁面不會生成新的Application ID,而是復用數據開發作業的Application ID。不同EMR組件的特性存在差異,具體請以實際界面為準。
引擎運維頁面僅會展示首次在DataWorks運行EMR作業時生成的Application ID。
EMR作業對應的DataWorks實例運行完成(即成功或失敗)后,YARN Application可能還會處于運行中(RUNNING)狀態。例如,Kyuubi通常由會話閑置超時時間
kyuubi.session.engine.idle.timeout
決定YARN Application是否會繼續保留一段時間,kyuubi.session.engine.idle.timeout
配置為PT30M
,表示EMR Kyuubi作業運行完成后,YARN Application仍會保留30分鐘。您可進入EMR on ECS控制臺,查看對應服務的配置。
前提條件
已將EMR集群注冊至DataWorks工作空間,且在DataWorks中運行相關EMR任務。
注冊集群:請參見注冊EMR集群至DataWorks。
運行EMR任務:請參見DataWorks On EMR使用說明。
進入引擎運維
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入運維中心。
在左側導航欄,選擇
,進入E-MapReduce引擎運維頁面。
查看引擎作業
E-MapReduce引擎運維頁面,為您展示了當前地域所有DataWorks工作空間中創建的E-MapReduce作業,您可查看作業詳情并按需執行相關運維操作。
篩選指定E-MapReduce作業(區域1)
在E-MapReduce引擎運維頁面的頂部菜單欄,您可根據不同條件(例如,作業ID、作業類型)進行篩選,快速搜索目標作業。
說明引擎運維頁面默認為您展示最近三天的引擎實例數據。
DataWorks實例ID僅支持使用運維中心的實例ID搜索。通過作業ID或DataWorks實例ID搜索時,僅支持查詢近7天的作業實例。
執行E-MapReduce作業相關操作(區域2)
在該區域,您可查看所選作業的詳細信息,并按需執行運維操作。
功能
描述
查看作業詳情
您可查看E-MapReduce作業的基本信息,包括作業ID、作業狀態、運行時間、作業來源、作業所屬DataWorks實例等。
作業狀態說明如下:
NEW:表示作業剛創建。
NEW_SAVING:表示正在保存作業。
SUBMITTED:表示作業已提交執行申請。
ACCEPTED:表示調度程序已接受作業的執行申請。
RUNNING:表示作業正在運行。
說明如果目標作業長期處于運行狀態,您可以手動終止運行目標作業的DataWorks實例任務,防止運行有誤的作業長期占用資源,阻塞下游任務。
FINISHED:表示作業已運行結束。
SUCCESSED:表示作業運行成功。
FAILED:表示作業運行失敗。如果作業呈現該狀態,需及時識別并處理相關報錯,以免阻塞下游作業,影響任務的正常運行。您可單擊作業ID或所屬DataWorks實例ID,進入相應任務詳情界面,處理報錯。
KILLED:表示作業的執行者或管理員終止了作業的運行。
DataWorks實例ID:
不同E-MapReduce作業所屬的DataWorks實例ID可能相同,但如果不同作業的運行開始時間不同,則會認為該作業屬于不同的DataWorks實例任務。您可通過作業所屬的DataWorks實例ID判斷任務是否屬于同一個DataWorks實例任務。
說明部分DataWorks功能模塊(例如,數據質量、數據開發、數據分析)觸發的任務沒有實例ID,平臺會展示為中劃線(-)。
EMR作業類型:僅支持查看MAPREDUCE及SPARK類型的作業。
運行時間排序:您可對開始時間或結束時間,進行升序或降序排列,直觀地查看作業的運行先后順序及運行時長,了解目標作業的運行情況。
作業來源:為您展示運行E-MapReduce作業的DataWorks功能模塊。您可在操作列前往相應模塊查看任務詳情。
隊列使用率(%):運行當前作業使用的隊列容量占比(即運行該任務時,集群資源管理器YARN為隊列分配的資源比例)。
執行實例任務相關操作
終止運行DataWorks實例任務
如果E-MapReduce作業長期處于運行狀態,即作業狀態顯示為RUNNING,您可手動終止運行。該類作業往往是由于運行內部出錯,導致作業不能自動終止,防止該作業長時間占用資源,阻塞并影響其他作業的運行,則需要手動將其停止,及時處理相關報錯。
終止運行單個作業:單擊對應作業操作列的終止運行。
批量終止運行作業:若需終止運行的作業較多,您可勾選目標作業,單擊左下角的終止運行對應的DataWorks實例,批量終止作業所在的DataWorks實例任務。
重要僅空間管理員、運維角色,以及任務責任人可終止運行實例任務。
若多個E-MapReduce作業屬于同一個DataWorks實例任務,當終止運行任意E-MapReduce作業時,都會導致DataWorks實例任務的運行狀態置為失敗。
當前僅支持對運行中的DataWorks實例任務進行終止運行操作。
執行終止運行操作后,目標實例任務的狀態將被置為失敗。置為失敗狀態后,當前實例任務會阻塞該任務的下游節點運行。請知悉風險并謹慎操作。
進入功能模塊查看任務
單擊任務操作列的模塊入口(例如,前往數據開發),即可進入觸發該實例任務的DataWorks功能模塊,查看任務在該模塊的運行詳情。
說明數據分析:僅支持文件Owner跳轉查看SQL查詢文件。
數據開發:前往數據開發界面后,當前工作空間的所有開發人員均可查看該任務,但僅支持任務執行者查看對應任務的歷史運行記錄。