日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

運維中心

更新時間: 2024-11-29 15:01:07

數據集成、數據開發模塊開發的任務提交或發布后,將進入開發環境或生產環境的運維中心。運維中心為您提供運維概覽、任務運維、實例運維、監控管理、系統配置5大功能模塊,您可針對提交的任務和生成的實例進行多方位的運維管理。

應用場景

  • 全局視角管控:Dataphin運維中心支持離線實例和實時實例的實例統計。異常統計情況,包括運行詳情、運行趨勢、運行失敗實例數排行、運行失敗實例對應任務數排行、失敗報警實例數排行、延時報警實例數排行、運行狀態統計、運行時長統計、失敗次數統計、延時時長統計和報警排行。幫助您從全局視角管控實例的運行情況,及時同步異常信息,提升運維效率。

  • 任務運維管理:支持運維管理數據集成、建模研發、編碼研發和數據萃取模塊生成的代碼任務,同時包括單節點及其上下游依賴任務或實例的狀態查看及管理操作。

  • 運行資源管控:在計算引擎出現性能瓶頸、資源分配不足或需控制任務下發時間和順序等場景時,可配置限流規則配置進行限流,以保障系統穩定性及優先分配資源保障數據產出。

  • 異常告警:基線運維支持配置物理任務和邏輯表字段告警規則,如果被監控的任務或字段異常,系統通過電話、短信、釘釘或郵件告警給您。

功能概述

當您在Dataphin中完成節點開發,并提交或發布至生產環境后,即可在運維中心對任務進行運維操作。包括周期任務的補數據、手動任務的運行、任務運行詳情查看、任務運行狀態監控和報警配置、實例及資源使用統計查看、任務運行超時或失敗的運維策略配置等。運維中心各功能模塊說明如下:

image..png

下表為運維中心各模塊功能使用的簡單說明:

功能模塊

描述

運維概覽

  • 實例統計:統計系統內離線實例和實時實例的運行詳情、運行趨勢、運行失敗實例數排行、失敗報警實例數排行等信息,幫助您從項目視角或全局視角,把控實例運行的情況。

  • 異常統計:統計全局或已選項目下運行異常任務的統計信息,包括運行出錯和運行總時間過長兩個視角,便于您及時獲取任務運行的狀況,以判斷資源的消耗及影響,從而作出預算準備、資源擴容或規格升級的決策。

任務運維

任務運維依照調度時效分為周期任務、實時任務和手動任務。周期任務包括腳本任務、明細及匯總表任務和萃取任務。任務運維模塊為您提供周期任務、實時任務和手動任務的運維和管理,包括查看DAG圖、查看實例、補數據、批量修改任務的責任人等。

實例運維

實例運維模塊依照實例生成方式分為基線實例、周期實例、補數據實例、手動實例和實時實例。實例運維模塊為您提供基線實例、周期實例、補數據實例、手動實例和實時實例的運維和管理,包括查看DAG、查看任務、查看運行日志、批量重跑等操作。

監控管理

監控管理提供基線監控、離線任務監控功能。

  • 基線監控:基線運維為您提供基線監控、基線告警、基線實例、高優任務保障的運維和管理。包括查看DAG、批量開啟/關閉基線任務監控開關、批量轉讓基線負責人等操作。基線范圍內的任務可設置更高優先級以優先分配資源。

  • 離線、實時任務監控:支持配置任務的多種監控告警規則。監控離線邏輯表任務支持配置字段視角的監控報警。監控配置幫助您及時了解任務運行動態,并監控異常任務,此外,支持針對需要重點保障的任務配置基線監控。

    說明
    • 僅Basic和Prod項目支持配置監控報警。

    • 限流配置和基線運維需單獨購買開通后使用。

系統配置

系統配置提供限流配置、運行配置等功能。

  • 限流配置:限流規則配置是當計算引擎出現性能瓶頸、資源分配不足或需控制任務下發時間和順序等場景時,您可在開發或生產環境配置限流規則,以保障系統的穩定性及控制高優先任務優先分配資源、優先運行,保證數據按序、及時的產出。

  • 運行配置:Dataphin支持租戶級的運行配置。您可根據租戶類型和業務場景為不同的租戶配置運行實例的超時時間和運行任務失敗時的重跑策略,杜絕因運行實例長時間資源占用造成資源浪費的同時提高運行實例的可靠性。

任務實例生成邏輯

運維中心任務類型包括周期任務、手動任務和實時任務。觸發任務運行的方式包括周期調度和手動觸發。系統的周期調度時間包括分鐘、小時、日、周、月和年。觸發任務運行包括補數據周期任務、手動運行手動任務和啟動實時任務的運行。

重要
  • 開發環境的所有任務默認不運行,需要您手動觸發任務的運行。

  • 周期任務發布到生產環境后即可開始正常調度。

image..png

  • 周期實例生成邏輯

    當開發調度類型為周期任務的節點被提交或發布至運維中心后,您可以在運維中心的周期任務列表中看到該任務節點。周期任務可生成以下2種實例類型:

    實例類型

    實例生成時間

    實例運行邏輯

    實例運行條件

    周期實例

    周期任務每晚23點會自動生成次日需要運行的周期實例,周期實例方式為T+1次日生成:

    • 23:00之前提交發布的周期任務,次日即生成周期實例。

    • 23:00之后提交發布的周期任務,第三個自然日才會生成實例。

      說明

      修改任務調度資源組僅對新生成的實例生效,對已生成的實例不生效。如果您需要修改實例的調度資源組,請在23點之前修改任務的資源配置并提交發布。特殊的,您還可以單獨修改已生成但是未開始運行的實例的調度資源。

    周期任務通過快照方式生成周期實例后,將根據周期任務的調度屬性信息自動調度運行。

    周期實例開始運行前需滿足以下條件:

    • 依賴的所有父節點實例都為成功運行狀態。

    • 已達到實例節點的定時運行時間

    • 調度資源滿足實例的運行。

    • 實例和關聯的周期任務非暫停狀態。周期實例運行狀態圖如下:

    image

    關于運行狀態更多信息,請參見實例運行診斷

    補數據實例

    補數據實例需手動針對當前周期任務進行補數據操作,才可生成補數據實例。

    手動生成補數據實例后,補數據實例將根據所配置的業務日期進行補數據。

    說明

    在生產環境下,您可以通過補數據周期任務,驗證開發環境周期任務是否能夠正常運行,數據是否能夠正常產出。

  • 手動實例生成邏輯

    當開發調度類型為手動業務的節點被提交或發布至運維中心后,您可以在運維中心的手動任務列表中看到該節點,當您需要運行該手動任務時,可以在手動任務列表對該任務執行運行操作,手動觸發任務運行后,會產生手動實例,您可以在手動實例頁面查看該實例執行詳情。

  • 實時實例生成邏輯

    當實時任務被提交或發布至運維中心后,您可以在運維中心的實時任務列表對實時任務進行啟動、修改資源配置等相關操作。在Basic模式和Dev-Prod模式的Prod環境下,實時任務提交后將自動生成實時實例,自動生成的實例為未啟動的停止狀態。實時任務運維分為實時計算任務和實時集成任務。

運維中心入口

快捷入口(推薦)

在Dataphin首頁,您也可以單擊Dataphin產品使用路徑的運維調度,快速進入運維中心。

image

普通入口

  1. 在Dataphin首頁,單擊頂部菜單欄的研發

  2. 在數據開發頁面,單擊頂部菜單欄的運維,進入運維中心頁面。

    image

上一篇: 管理發布任務 下一篇: 運維概覽
阿里云首頁 智能數據建設與治理 Dataphin 相關技術圈