日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

引擎運維

在DataWorks實例任務中,E-MapReduce(簡稱EMR)計算引擎任務會被分為若干作業有序執行。您可以使用DataWorks的引擎運維功能,查看各個E-MapReduce作業的詳細信息,及時查找并清理運行有誤的作業,避免該類作業阻塞下游任務,影響實例任務的正常運行。

使用限制

  • 僅支持對DataWorks中的EMR引擎作業進行運維,并且您需要提交工單升級EMR執行包的版本,升級后才能正常獲取運維數據。

  • 若您未將EMR集群注冊至DataWorks工作空間,則該工作空間的運維中心左側導航欄不會顯示引擎運維

  • 已購買的獨享調度資源組需提交工單聯系技術支持人員進行升級,如未升級,則引擎運維界面部分字段會展示為中劃線(-)。

注意事項

部分EMR組件任務運行時支持復用YARN應用程序(即YARN Application),復用后,在DataWorks不同功能模塊運行該任務,引擎運維頁面中的作業ID(即Application ID)相同。

說明

例如,EMR Kyuubi組件的共享級別kyuubi.engine.share.level默認設置為USER,即以用戶為單位,每個用戶擁有一個引擎,該用戶發起的所有引擎作業共用一個Application ID。EMR Kyuubi任務在DataWorks的數據開發執行后會生成一個Application ID,此時,再前往數據分析執行該任務,該任務在引擎運維頁面不會生成新的Application ID,而是復用數據開發作業的Application ID。不同EMR組件的特性存在差異,具體請以實際界面為準。

  • 引擎運維頁面僅會展示首次在DataWorks運行EMR作業時生成的Application ID。

  • EMR作業對應的DataWorks實例運行完成(即成功失敗)后,YARN Application可能還會處于運行中(RUNNING)狀態。例如,Kyuubi通常由會話閑置超時時間kyuubi.session.engine.idle.timeout決定YARN Application是否會繼續保留一段時間,kyuubi.session.engine.idle.timeout配置為PT30M,表示EMR Kyuubi作業運行完成后,YARN Application仍會保留30分鐘。您可進入EMR on ECS控制臺,查看對應服務的配置。

前提條件

已將EMR集群注冊至DataWorks工作空間,且在DataWorks中運行相關EMR任務。

  1. 注冊集群:請參見注冊EMR集群至DataWorks

  2. 運行EMR任務:請參見DataWorks On EMR使用說明

進入引擎運維

  1. 登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的數據開發與治理 > 運維中心,在下拉框中選擇對應工作空間后單擊進入運維中心

  2. 在左側導航欄,選擇其他 > 引擎運維 > E-MapReduce,進入E-MapReduce引擎運維頁面。

查看引擎作業

E-MapReduce引擎運維頁面,為您展示了當前地域所有DataWorks工作空間中創建的E-MapReduce作業,您可查看作業詳情并按需執行相關運維操作。引擎運維界面

  • 篩選指定E-MapReduce作業(區域1)

    在E-MapReduce引擎運維頁面的頂部菜單欄,您可根據不同條件(例如,作業ID、作業類型)進行篩選,快速搜索目標作業。

    說明
    • 引擎運維頁面默認為您展示最近三天的引擎實例數據。

    • DataWorks實例ID僅支持使用運維中心的實例ID搜索。通過作業IDDataWorks實例ID搜索時,僅支持查詢近7天的作業實例。

  • 執行E-MapReduce作業相關操作(區域2)

    在該區域,您可查看所選作業的詳細信息,并按需執行運維操作。

    功能

    描述

    查看作業詳情

    您可查看E-MapReduce作業的基本信息,包括作業ID、作業狀態、運行時間、作業來源、作業所屬DataWorks實例等。

    • 作業狀態說明如下:

      • NEW:表示作業剛創建。

      • NEW_SAVING:表示正在保存作業。

      • SUBMITTED:表示作業已提交執行申請。

      • ACCEPTED:表示調度程序已接受作業的執行申請。

      • RUNNING:表示作業正在運行。

        說明

        如果目標作業長期處于運行狀態,您可以手動終止運行目標作業的DataWorks實例任務,防止運行有誤的作業長期占用資源,阻塞下游任務。

      • FINISHED:表示作業已運行結束。

      • SUCCESSED:表示作業運行成功。

      • FAILED:表示作業運行失敗。如果作業呈現該狀態,需及時識別并處理相關報錯,以免阻塞下游作業,影響任務的正常運行。您可單擊作業ID或所屬DataWorks實例ID,進入相應任務詳情界面,處理報錯。

      • KILLED:表示作業的執行者或管理員終止了作業的運行。

    • DataWorks實例ID:

      不同E-MapReduce作業所屬的DataWorks實例ID可能相同,但如果不同作業的運行開始時間不同,則會認為該作業屬于不同的DataWorks實例任務。您可通過作業所屬的DataWorks實例ID判斷任務是否屬于同一個DataWorks實例任務。

      說明

      部分DataWorks功能模塊(例如,數據質量、數據開發、數據分析)觸發的任務沒有實例ID,平臺會展示為中劃線(-)。

    • EMR作業類型:僅支持查看MAPREDUCESPARK類型的作業。

    • 運行時間排序:您可對開始時間結束時間,進行升序或降序排列,直觀地查看作業的運行先后順序及運行時長,了解目標作業的運行情況。

    • 作業來源:為您展示運行E-MapReduce作業的DataWorks功能模塊。您可在操作列前往相應模塊查看任務詳情。

    • 隊列使用率(%):運行當前作業使用的隊列容量占比(即運行該任務時,集群資源管理器YARN為隊列分配的資源比例)。

    執行實例任務相關操作

    • 終止運行DataWorks實例任務

      如果E-MapReduce作業長期處于運行狀態,即作業狀態顯示為RUNNING,您可手動終止運行。該類作業往往是由于運行內部出錯,導致作業不能自動終止,防止該作業長時間占用資源,阻塞并影響其他作業的運行,則需要手動將其停止,及時處理相關報錯。

      • 終止運行單個作業:單擊對應作業操作列的終止運行

      • 批量終止運行作業:若需終止運行的作業較多,您可勾選目標作業,單擊左下角的終止運行對應的DataWorks實例,批量終止作業所在的DataWorks實例任務。

      重要
      • 空間管理員運維角色,以及任務責任人可終止運行實例任務。

      • 若多個E-MapReduce作業屬于同一個DataWorks實例任務,當終止運行任意E-MapReduce作業時,都會導致DataWorks實例任務的運行狀態置為失敗。

      • 當前僅支持對運行中的DataWorks實例任務進行終止運行操作。

      • 執行終止運行操作后,目標實例任務的狀態將被置為失敗。置為失敗狀態后,當前實例任務會阻塞該任務的下游節點運行。請知悉風險并謹慎操作。

    • 進入功能模塊查看任務

      單擊任務操作列的模塊入口(例如,前往數據開發),即可進入觸發該實例任務的DataWorks功能模塊,查看任務在該模塊的運行詳情。

      說明
      • 數據分析:僅支持文件Owner跳轉查看SQL查詢文件。

      • 數據開發:前往數據開發界面后,當前工作空間的所有開發人員均可查看該任務,但僅支持任務執行者查看對應任務的歷史運行記錄。