日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

運(yùn)維中心

更新時(shí)間: 2024-11-29 15:01:07

數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)模塊開(kāi)發(fā)的任務(wù)提交或發(fā)布后,將進(jìn)入開(kāi)發(fā)環(huán)境或生產(chǎn)環(huán)境的運(yùn)維中心。運(yùn)維中心為您提供運(yùn)維概覽、任務(wù)運(yùn)維、實(shí)例運(yùn)維、監(jiān)控管理、系統(tǒng)配置5大功能模塊,您可針對(duì)提交的任務(wù)和生成的實(shí)例進(jìn)行多方位的運(yùn)維管理。

應(yīng)用場(chǎng)景

  • 全局視角管控:Dataphin運(yùn)維中心支持離線實(shí)例和實(shí)時(shí)實(shí)例的實(shí)例統(tǒng)計(jì)。異常統(tǒng)計(jì)情況,包括運(yùn)行詳情、運(yùn)行趨勢(shì)、運(yùn)行失敗實(shí)例數(shù)排行、運(yùn)行失敗實(shí)例對(duì)應(yīng)任務(wù)數(shù)排行、失敗報(bào)警實(shí)例數(shù)排行、延時(shí)報(bào)警實(shí)例數(shù)排行、運(yùn)行狀態(tài)統(tǒng)計(jì)、運(yùn)行時(shí)長(zhǎng)統(tǒng)計(jì)、失敗次數(shù)統(tǒng)計(jì)、延時(shí)時(shí)長(zhǎng)統(tǒng)計(jì)和報(bào)警排行。幫助您從全局視角管控實(shí)例的運(yùn)行情況,及時(shí)同步異常信息,提升運(yùn)維效率。

  • 任務(wù)運(yùn)維管理:支持運(yùn)維管理數(shù)據(jù)集成、建模研發(fā)、編碼研發(fā)和數(shù)據(jù)萃取模塊生成的代碼任務(wù),同時(shí)包括單節(jié)點(diǎn)及其上下游依賴(lài)任務(wù)或?qū)嵗臓顟B(tài)查看及管理操作。

  • 運(yùn)行資源管控:在計(jì)算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務(wù)下發(fā)時(shí)間和順序等場(chǎng)景時(shí),可配置限流規(guī)則配置進(jìn)行限流,以保障系統(tǒng)穩(wěn)定性及優(yōu)先分配資源保障數(shù)據(jù)產(chǎn)出。

  • 異常告警:基線運(yùn)維支持配置物理任務(wù)和邏輯表字段告警規(guī)則,如果被監(jiān)控的任務(wù)或字段異常,系統(tǒng)通過(guò)電話(huà)、短信、釘釘或郵件告警給您。

功能概述

當(dāng)您在Dataphin中完成節(jié)點(diǎn)開(kāi)發(fā),并提交或發(fā)布至生產(chǎn)環(huán)境后,即可在運(yùn)維中心對(duì)任務(wù)進(jìn)行運(yùn)維操作。包括周期任務(wù)的補(bǔ)數(shù)據(jù)、手動(dòng)任務(wù)的運(yùn)行、任務(wù)運(yùn)行詳情查看、任務(wù)運(yùn)行狀態(tài)監(jiān)控和報(bào)警配置、實(shí)例及資源使用統(tǒng)計(jì)查看、任務(wù)運(yùn)行超時(shí)或失敗的運(yùn)維策略配置等。運(yùn)維中心各功能模塊說(shuō)明如下:

image..png

下表為運(yùn)維中心各模塊功能使用的簡(jiǎn)單說(shuō)明:

功能模塊

描述

運(yùn)維概覽

  • 實(shí)例統(tǒng)計(jì):統(tǒng)計(jì)系統(tǒng)內(nèi)離線實(shí)例和實(shí)時(shí)實(shí)例的運(yùn)行詳情、運(yùn)行趨勢(shì)、運(yùn)行失敗實(shí)例數(shù)排行、失敗報(bào)警實(shí)例數(shù)排行等信息,幫助您從項(xiàng)目視角或全局視角,把控實(shí)例運(yùn)行的情況。

  • 異常統(tǒng)計(jì):統(tǒng)計(jì)全局或已選項(xiàng)目下運(yùn)行異常任務(wù)的統(tǒng)計(jì)信息,包括運(yùn)行出錯(cuò)和運(yùn)行總時(shí)間過(guò)長(zhǎng)兩個(gè)視角,便于您及時(shí)獲取任務(wù)運(yùn)行的狀況,以判斷資源的消耗及影響,從而作出預(yù)算準(zhǔn)備、資源擴(kuò)容或規(guī)格升級(jí)的決策。

任務(wù)運(yùn)維

任務(wù)運(yùn)維依照調(diào)度時(shí)效分為周期任務(wù)、實(shí)時(shí)任務(wù)和手動(dòng)任務(wù)。周期任務(wù)包括腳本任務(wù)、明細(xì)及匯總表任務(wù)和萃取任務(wù)。任務(wù)運(yùn)維模塊為您提供周期任務(wù)、實(shí)時(shí)任務(wù)和手動(dòng)任務(wù)的運(yùn)維和管理,包括查看DAG圖、查看實(shí)例、補(bǔ)數(shù)據(jù)、批量修改任務(wù)的責(zé)任人等。

實(shí)例運(yùn)維

實(shí)例運(yùn)維模塊依照實(shí)例生成方式分為基線實(shí)例、周期實(shí)例、補(bǔ)數(shù)據(jù)實(shí)例、手動(dòng)實(shí)例和實(shí)時(shí)實(shí)例。實(shí)例運(yùn)維模塊為您提供基線實(shí)例、周期實(shí)例、補(bǔ)數(shù)據(jù)實(shí)例、手動(dòng)實(shí)例和實(shí)時(shí)實(shí)例的運(yùn)維和管理,包括查看DAG、查看任務(wù)、查看運(yùn)行日志、批量重跑等操作。

監(jiān)控管理

監(jiān)控管理提供基線監(jiān)控、離線任務(wù)監(jiān)控功能。

  • 基線監(jiān)控:基線運(yùn)維為您提供基線監(jiān)控、基線告警、基線實(shí)例、高優(yōu)任務(wù)保障的運(yùn)維和管理。包括查看DAG、批量開(kāi)啟/關(guān)閉基線任務(wù)監(jiān)控開(kāi)關(guān)、批量轉(zhuǎn)讓基線負(fù)責(zé)人等操作。基線范圍內(nèi)的任務(wù)可設(shè)置更高優(yōu)先級(jí)以?xún)?yōu)先分配資源。

  • 離線、實(shí)時(shí)任務(wù)監(jiān)控:支持配置任務(wù)的多種監(jiān)控告警規(guī)則。監(jiān)控離線邏輯表任務(wù)支持配置字段視角的監(jiān)控報(bào)警。監(jiān)控配置幫助您及時(shí)了解任務(wù)運(yùn)行動(dòng)態(tài),并監(jiān)控異常任務(wù),此外,支持針對(duì)需要重點(diǎn)保障的任務(wù)配置基線監(jiān)控。

    說(shuō)明
    • 僅Basic和Prod項(xiàng)目支持配置監(jiān)控報(bào)警。

    • 限流配置和基線運(yùn)維需單獨(dú)購(gòu)買(mǎi)開(kāi)通后使用。

系統(tǒng)配置

系統(tǒng)配置提供限流配置、運(yùn)行配置等功能。

  • 限流配置:限流規(guī)則配置是當(dāng)計(jì)算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務(wù)下發(fā)時(shí)間和順序等場(chǎng)景時(shí),您可在開(kāi)發(fā)或生產(chǎn)環(huán)境配置限流規(guī)則,以保障系統(tǒng)的穩(wěn)定性及控制高優(yōu)先任務(wù)優(yōu)先分配資源、優(yōu)先運(yùn)行,保證數(shù)據(jù)按序、及時(shí)的產(chǎn)出。

  • 運(yùn)行配置:Dataphin支持租戶(hù)級(jí)的運(yùn)行配置。您可根據(jù)租戶(hù)類(lèi)型和業(yè)務(wù)場(chǎng)景為不同的租戶(hù)配置運(yùn)行實(shí)例的超時(shí)時(shí)間和運(yùn)行任務(wù)失敗時(shí)的重跑策略,杜絕因運(yùn)行實(shí)例長(zhǎng)時(shí)間資源占用造成資源浪費(fèi)的同時(shí)提高運(yùn)行實(shí)例的可靠性。

任務(wù)實(shí)例生成邏輯

運(yùn)維中心任務(wù)類(lèi)型包括周期任務(wù)、手動(dòng)任務(wù)和實(shí)時(shí)任務(wù)。觸發(fā)任務(wù)運(yùn)行的方式包括周期調(diào)度和手動(dòng)觸發(fā)。系統(tǒng)的周期調(diào)度時(shí)間包括分鐘、小時(shí)、日、周、月和年。觸發(fā)任務(wù)運(yùn)行包括補(bǔ)數(shù)據(jù)周期任務(wù)、手動(dòng)運(yùn)行手動(dòng)任務(wù)和啟動(dòng)實(shí)時(shí)任務(wù)的運(yùn)行。

重要
  • 開(kāi)發(fā)環(huán)境的所有任務(wù)默認(rèn)不運(yùn)行,需要您手動(dòng)觸發(fā)任務(wù)的運(yùn)行。

  • 周期任務(wù)發(fā)布到生產(chǎn)環(huán)境后即可開(kāi)始正常調(diào)度。

image..png

  • 周期實(shí)例生成邏輯

    當(dāng)開(kāi)發(fā)調(diào)度類(lèi)型為周期任務(wù)的節(jié)點(diǎn)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的周期任務(wù)列表中看到該任務(wù)節(jié)點(diǎn)。周期任務(wù)可生成以下2種實(shí)例類(lèi)型:

    實(shí)例類(lèi)型

    實(shí)例生成時(shí)間

    實(shí)例運(yùn)行邏輯

    實(shí)例運(yùn)行條件

    周期實(shí)例

    周期任務(wù)每晚23點(diǎn)會(huì)自動(dòng)生成次日需要運(yùn)行的周期實(shí)例,周期實(shí)例方式為T+1次日生成:

    • 23:00之前提交發(fā)布的周期任務(wù),次日即生成周期實(shí)例。

    • 23:00之后提交發(fā)布的周期任務(wù),第三個(gè)自然日才會(huì)生成實(shí)例。

      說(shuō)明

      修改任務(wù)調(diào)度資源組僅對(duì)新生成的實(shí)例生效,對(duì)已生成的實(shí)例不生效。如果您需要修改實(shí)例的調(diào)度資源組,請(qǐng)?jiān)?3點(diǎn)之前修改任務(wù)的資源配置并提交發(fā)布。特殊的,您還可以單獨(dú)修改已生成但是未開(kāi)始運(yùn)行的實(shí)例的調(diào)度資源。

    周期任務(wù)通過(guò)快照方式生成周期實(shí)例后,將根據(jù)周期任務(wù)的調(diào)度屬性信息自動(dòng)調(diào)度運(yùn)行。

    周期實(shí)例開(kāi)始運(yùn)行前需滿(mǎn)足以下條件:

    • 依賴(lài)的所有父節(jié)點(diǎn)實(shí)例都為成功運(yùn)行狀態(tài)。

    • 已達(dá)到實(shí)例節(jié)點(diǎn)的定時(shí)運(yùn)行時(shí)間

    • 調(diào)度資源滿(mǎn)足實(shí)例的運(yùn)行。

    • 實(shí)例和關(guān)聯(lián)的周期任務(wù)非暫停狀態(tài)。周期實(shí)例運(yùn)行狀態(tài)圖如下:

    image

    關(guān)于運(yùn)行狀態(tài)更多信息,請(qǐng)參見(jiàn)實(shí)例運(yùn)行診斷

    補(bǔ)數(shù)據(jù)實(shí)例

    補(bǔ)數(shù)據(jù)實(shí)例需手動(dòng)針對(duì)當(dāng)前周期任務(wù)進(jìn)行補(bǔ)數(shù)據(jù)操作,才可生成補(bǔ)數(shù)據(jù)實(shí)例。

    手動(dòng)生成補(bǔ)數(shù)據(jù)實(shí)例后,補(bǔ)數(shù)據(jù)實(shí)例將根據(jù)所配置的業(yè)務(wù)日期進(jìn)行補(bǔ)數(shù)據(jù)。

    說(shuō)明

    在生產(chǎn)環(huán)境下,您可以通過(guò)補(bǔ)數(shù)據(jù)周期任務(wù),驗(yàn)證開(kāi)發(fā)環(huán)境周期任務(wù)是否能夠正常運(yùn)行,數(shù)據(jù)是否能夠正常產(chǎn)出。

  • 手動(dòng)實(shí)例生成邏輯

    當(dāng)開(kāi)發(fā)調(diào)度類(lèi)型為手動(dòng)業(yè)務(wù)的節(jié)點(diǎn)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的手動(dòng)任務(wù)列表中看到該節(jié)點(diǎn),當(dāng)您需要運(yùn)行該手動(dòng)任務(wù)時(shí),可以在手動(dòng)任務(wù)列表對(duì)該任務(wù)執(zhí)行運(yùn)行操作,手動(dòng)觸發(fā)任務(wù)運(yùn)行后,會(huì)產(chǎn)生手動(dòng)實(shí)例,您可以在手動(dòng)實(shí)例頁(yè)面查看該實(shí)例執(zhí)行詳情。

  • 實(shí)時(shí)實(shí)例生成邏輯

    當(dāng)實(shí)時(shí)任務(wù)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的實(shí)時(shí)任務(wù)列表對(duì)實(shí)時(shí)任務(wù)進(jìn)行啟動(dòng)、修改資源配置等相關(guān)操作。在Basic模式和Dev-Prod模式的Prod環(huán)境下,實(shí)時(shí)任務(wù)提交后將自動(dòng)生成實(shí)時(shí)實(shí)例,自動(dòng)生成的實(shí)例為未啟動(dòng)的停止狀態(tài)。實(shí)時(shí)任務(wù)運(yùn)維分為實(shí)時(shí)計(jì)算任務(wù)和實(shí)時(shí)集成任務(wù)。

運(yùn)維中心入口

快捷入口(推薦)

在Dataphin首頁(yè),您也可以單擊Dataphin產(chǎn)品使用路徑的運(yùn)維調(diào)度,快速進(jìn)入運(yùn)維中心。

image

普通入口

  1. 在Dataphin首頁(yè),單擊頂部菜單欄的研發(fā)

  2. 在數(shù)據(jù)開(kāi)發(fā)頁(yè)面,單擊頂部菜單欄的運(yùn)維,進(jìn)入運(yùn)維中心頁(yè)面。

    image

上一篇: 管理發(fā)布任務(wù) 下一篇: 運(yùn)維概覽
阿里云首頁(yè) 智能數(shù)據(jù)建設(shè)與治理 Dataphin 相關(guān)技術(shù)圈