運維中心
數據集成、數據開發模塊開發的任務提交或發布后,將進入開發環境或生產環境的運維中心。運維中心為您提供運維概覽、任務運維、實例運維、監控管理、系統配置5大功能模塊,您可針對提交的任務和生成的實例進行多方位的運維管理。
應用場景
全局視角管控:Dataphin運維中心支持離線實例和實時實例的實例統計。異常統計情況,包括運行詳情、運行趨勢、運行失敗實例數排行、運行失敗實例對應任務數排行、失敗報警實例數排行、延時報警實例數排行、運行狀態統計、運行時長統計、失敗次數統計、延時時長統計和報警排行。幫助您從全局視角管控實例的運行情況,及時同步異常信息,提升運維效率。
任務運維管理:支持運維管理數據集成、建模研發、編碼研發和數據萃取模塊生成的代碼任務,同時包括單節點及其上下游依賴任務或實例的狀態查看及管理操作。
運行資源管控:在計算引擎出現性能瓶頸、資源分配不足或需控制任務下發時間和順序等場景時,可配置限流規則配置進行限流,以保障系統穩定性及優先分配資源保障數據產出。
異常告警:基線運維支持配置物理任務和邏輯表字段告警規則,如果被監控的任務或字段異常,系統通過電話、短信、釘釘或郵件告警給您。
功能概述
當您在Dataphin中完成節點開發,并提交或發布至生產環境后,即可在運維中心對任務進行運維操作。包括周期任務的補數據、手動任務的運行、任務運行詳情查看、任務運行狀態監控和報警配置、實例及資源使用統計查看、任務運行超時或失敗的運維策略配置等。運維中心各功能模塊說明如下:
下表為運維中心各模塊功能使用的簡單說明:
功能模塊 | 描述 |
運維概覽 |
|
任務運維 | 任務運維依照調度時效分為周期任務、實時任務和手動任務。周期任務包括腳本任務、明細及匯總表任務和萃取任務。任務運維模塊為您提供周期任務、實時任務和手動任務的運維和管理,包括查看DAG圖、查看實例、補數據、批量修改任務的責任人等。 |
實例運維 | 實例運維模塊依照實例生成方式分為基線實例、周期實例、補數據實例、手動實例和實時實例。實例運維模塊為您提供基線實例、周期實例、補數據實例、手動實例和實時實例的運維和管理,包括查看DAG、查看任務、查看運行日志、批量重跑等操作。 |
監控管理 | 監控管理提供基線監控、離線任務監控功能。
|
系統配置 | 系統配置提供限流配置、運行配置等功能。
|
任務實例生成邏輯
運維中心任務類型包括周期任務、手動任務和實時任務。觸發任務運行的方式包括周期調度和手動觸發。系統的周期調度時間包括分鐘、小時、日、周、月和年。觸發任務運行包括補數據周期任務、手動運行手動任務和啟動實時任務的運行。
開發環境的所有任務默認不運行,需要您手動觸發任務的運行。
周期任務發布到生產環境后即可開始正常調度。
周期實例生成邏輯
當開發調度類型為周期任務的節點被提交或發布至運維中心后,您可以在運維中心的周期任務列表中看到該任務節點。周期任務可生成以下2種實例類型:
實例類型
實例生成時間
實例運行邏輯
實例運行條件
周期實例
周期任務每晚23點會自動生成次日需要運行的周期實例,周期實例方式為T+1次日生成:
23:00之前提交發布的周期任務,次日即生成周期實例。
23:00之后提交發布的周期任務,第三個自然日才會生成實例。
說明修改任務調度資源組僅對新生成的實例生效,對已生成的實例不生效。如果您需要修改實例的調度資源組,請在23點之前修改任務的資源配置并提交發布。特殊的,您還可以單獨修改已生成但是未開始運行的實例的調度資源。
周期任務通過快照方式生成周期實例后,將根據周期任務的調度屬性信息自動調度運行。
周期實例開始運行前需滿足以下條件:
依賴的所有父節點實例都為成功運行狀態。
已達到實例節點的定時運行時間。
調度資源滿足實例的運行。
實例和關聯的周期任務非暫停狀態。周期實例運行狀態圖如下:
關于運行狀態更多信息,請參見實例運行診斷。
補數據實例
補數據實例需手動針對當前周期任務進行補數據操作,才可生成補數據實例。
手動生成補數據實例后,補數據實例將根據所配置的業務日期進行補數據。
說明在生產環境下,您可以通過補數據周期任務,驗證開發環境周期任務是否能夠正常運行,數據是否能夠正常產出。
手動實例生成邏輯
當開發調度類型為手動業務的節點被提交或發布至運維中心后,您可以在運維中心的手動任務列表中看到該節點,當您需要運行該手動任務時,可以在手動任務列表對該任務執行運行操作,手動觸發任務運行后,會產生手動實例,您可以在手動實例頁面查看該實例執行詳情。
實時實例生成邏輯
當實時任務被提交或發布至運維中心后,您可以在運維中心的實時任務列表對實時任務進行啟動、修改資源配置等相關操作。在Basic模式和Dev-Prod模式的Prod環境下,實時任務提交后將自動生成實時實例,自動生成的實例為未啟動的停止狀態。實時任務運維分為實時計算任務和實時集成任務。
運維中心入口
快捷入口(推薦)
在Dataphin首頁,您也可以單擊Dataphin產品使用路徑的運維調度,快速進入運維中心。
普通入口
在Dataphin首頁,單擊頂部菜單欄的研發。
在數據開發頁面,單擊頂部菜單欄的運維,進入運維中心頁面。