運(yùn)維中心
數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)模塊開(kāi)發(fā)的任務(wù)提交或發(fā)布后,將進(jìn)入開(kāi)發(fā)環(huán)境或生產(chǎn)環(huán)境的運(yùn)維中心。運(yùn)維中心為您提供運(yùn)維概覽、任務(wù)運(yùn)維、實(shí)例運(yùn)維、監(jiān)控管理、系統(tǒng)配置5大功能模塊,您可針對(duì)提交的任務(wù)和生成的實(shí)例進(jìn)行多方位的運(yùn)維管理。
應(yīng)用場(chǎng)景
全局視角管控:Dataphin運(yùn)維中心支持離線實(shí)例和實(shí)時(shí)實(shí)例的實(shí)例統(tǒng)計(jì)。異常統(tǒng)計(jì)情況,包括運(yùn)行詳情、運(yùn)行趨勢(shì)、運(yùn)行失敗實(shí)例數(shù)排行、運(yùn)行失敗實(shí)例對(duì)應(yīng)任務(wù)數(shù)排行、失敗報(bào)警實(shí)例數(shù)排行、延時(shí)報(bào)警實(shí)例數(shù)排行、運(yùn)行狀態(tài)統(tǒng)計(jì)、運(yùn)行時(shí)長(zhǎng)統(tǒng)計(jì)、失敗次數(shù)統(tǒng)計(jì)、延時(shí)時(shí)長(zhǎng)統(tǒng)計(jì)和報(bào)警排行。幫助您從全局視角管控實(shí)例的運(yùn)行情況,及時(shí)同步異常信息,提升運(yùn)維效率。
任務(wù)運(yùn)維管理:支持運(yùn)維管理數(shù)據(jù)集成、建模研發(fā)、編碼研發(fā)和數(shù)據(jù)萃取模塊生成的代碼任務(wù),同時(shí)包括單節(jié)點(diǎn)及其上下游依賴(lài)任務(wù)或?qū)嵗臓顟B(tài)查看及管理操作。
運(yùn)行資源管控:在計(jì)算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務(wù)下發(fā)時(shí)間和順序等場(chǎng)景時(shí),可配置限流規(guī)則配置進(jìn)行限流,以保障系統(tǒng)穩(wěn)定性及優(yōu)先分配資源保障數(shù)據(jù)產(chǎn)出。
異常告警:基線運(yùn)維支持配置物理任務(wù)和邏輯表字段告警規(guī)則,如果被監(jiān)控的任務(wù)或字段異常,系統(tǒng)通過(guò)電話(huà)、短信、釘釘或郵件告警給您。
功能概述
當(dāng)您在Dataphin中完成節(jié)點(diǎn)開(kāi)發(fā),并提交或發(fā)布至生產(chǎn)環(huán)境后,即可在運(yùn)維中心對(duì)任務(wù)進(jìn)行運(yùn)維操作。包括周期任務(wù)的補(bǔ)數(shù)據(jù)、手動(dòng)任務(wù)的運(yùn)行、任務(wù)運(yùn)行詳情查看、任務(wù)運(yùn)行狀態(tài)監(jiān)控和報(bào)警配置、實(shí)例及資源使用統(tǒng)計(jì)查看、任務(wù)運(yùn)行超時(shí)或失敗的運(yùn)維策略配置等。運(yùn)維中心各功能模塊說(shuō)明如下:
下表為運(yùn)維中心各模塊功能使用的簡(jiǎn)單說(shuō)明:
功能模塊 | 描述 |
運(yùn)維概覽 |
|
任務(wù)運(yùn)維 | 任務(wù)運(yùn)維依照調(diào)度時(shí)效分為周期任務(wù)、實(shí)時(shí)任務(wù)和手動(dòng)任務(wù)。周期任務(wù)包括腳本任務(wù)、明細(xì)及匯總表任務(wù)和萃取任務(wù)。任務(wù)運(yùn)維模塊為您提供周期任務(wù)、實(shí)時(shí)任務(wù)和手動(dòng)任務(wù)的運(yùn)維和管理,包括查看DAG圖、查看實(shí)例、補(bǔ)數(shù)據(jù)、批量修改任務(wù)的責(zé)任人等。 |
實(shí)例運(yùn)維 | 實(shí)例運(yùn)維模塊依照實(shí)例生成方式分為基線實(shí)例、周期實(shí)例、補(bǔ)數(shù)據(jù)實(shí)例、手動(dòng)實(shí)例和實(shí)時(shí)實(shí)例。實(shí)例運(yùn)維模塊為您提供基線實(shí)例、周期實(shí)例、補(bǔ)數(shù)據(jù)實(shí)例、手動(dòng)實(shí)例和實(shí)時(shí)實(shí)例的運(yùn)維和管理,包括查看DAG、查看任務(wù)、查看運(yùn)行日志、批量重跑等操作。 |
監(jiān)控管理 | 監(jiān)控管理提供基線監(jiān)控、離線任務(wù)監(jiān)控功能。
|
系統(tǒng)配置 | 系統(tǒng)配置提供限流配置、運(yùn)行配置等功能。
|
任務(wù)實(shí)例生成邏輯
運(yùn)維中心任務(wù)類(lèi)型包括周期任務(wù)、手動(dòng)任務(wù)和實(shí)時(shí)任務(wù)。觸發(fā)任務(wù)運(yùn)行的方式包括周期調(diào)度和手動(dòng)觸發(fā)。系統(tǒng)的周期調(diào)度時(shí)間包括分鐘、小時(shí)、日、周、月和年。觸發(fā)任務(wù)運(yùn)行包括補(bǔ)數(shù)據(jù)周期任務(wù)、手動(dòng)運(yùn)行手動(dòng)任務(wù)和啟動(dòng)實(shí)時(shí)任務(wù)的運(yùn)行。
開(kāi)發(fā)環(huán)境的所有任務(wù)默認(rèn)不運(yùn)行,需要您手動(dòng)觸發(fā)任務(wù)的運(yùn)行。
周期任務(wù)發(fā)布到生產(chǎn)環(huán)境后即可開(kāi)始正常調(diào)度。
周期實(shí)例生成邏輯
當(dāng)開(kāi)發(fā)調(diào)度類(lèi)型為周期任務(wù)的節(jié)點(diǎn)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的周期任務(wù)列表中看到該任務(wù)節(jié)點(diǎn)。周期任務(wù)可生成以下2種實(shí)例類(lèi)型:
實(shí)例類(lèi)型
實(shí)例生成時(shí)間
實(shí)例運(yùn)行邏輯
實(shí)例運(yùn)行條件
周期實(shí)例
周期任務(wù)每晚23點(diǎn)會(huì)自動(dòng)生成次日需要運(yùn)行的周期實(shí)例,周期實(shí)例方式為T+1次日生成:
23:00之前提交發(fā)布的周期任務(wù),次日即生成周期實(shí)例。
23:00之后提交發(fā)布的周期任務(wù),第三個(gè)自然日才會(huì)生成實(shí)例。
說(shuō)明修改任務(wù)調(diào)度資源組僅對(duì)新生成的實(shí)例生效,對(duì)已生成的實(shí)例不生效。如果您需要修改實(shí)例的調(diào)度資源組,請(qǐng)?jiān)?3點(diǎn)之前修改任務(wù)的資源配置并提交發(fā)布。特殊的,您還可以單獨(dú)修改已生成但是未開(kāi)始運(yùn)行的實(shí)例的調(diào)度資源。
周期任務(wù)通過(guò)快照方式生成周期實(shí)例后,將根據(jù)周期任務(wù)的調(diào)度屬性信息自動(dòng)調(diào)度運(yùn)行。
周期實(shí)例開(kāi)始運(yùn)行前需滿(mǎn)足以下條件:
依賴(lài)的所有父節(jié)點(diǎn)實(shí)例都為成功運(yùn)行狀態(tài)。
已達(dá)到實(shí)例節(jié)點(diǎn)的定時(shí)運(yùn)行時(shí)間。
調(diào)度資源滿(mǎn)足實(shí)例的運(yùn)行。
實(shí)例和關(guān)聯(lián)的周期任務(wù)非暫停狀態(tài)。周期實(shí)例運(yùn)行狀態(tài)圖如下:
關(guān)于運(yùn)行狀態(tài)更多信息,請(qǐng)參見(jiàn)實(shí)例運(yùn)行診斷。
補(bǔ)數(shù)據(jù)實(shí)例
補(bǔ)數(shù)據(jù)實(shí)例需手動(dòng)針對(duì)當(dāng)前周期任務(wù)進(jìn)行補(bǔ)數(shù)據(jù)操作,才可生成補(bǔ)數(shù)據(jù)實(shí)例。
手動(dòng)生成補(bǔ)數(shù)據(jù)實(shí)例后,補(bǔ)數(shù)據(jù)實(shí)例將根據(jù)所配置的業(yè)務(wù)日期進(jìn)行補(bǔ)數(shù)據(jù)。
說(shuō)明在生產(chǎn)環(huán)境下,您可以通過(guò)補(bǔ)數(shù)據(jù)周期任務(wù),驗(yàn)證開(kāi)發(fā)環(huán)境周期任務(wù)是否能夠正常運(yùn)行,數(shù)據(jù)是否能夠正常產(chǎn)出。
手動(dòng)實(shí)例生成邏輯
當(dāng)開(kāi)發(fā)調(diào)度類(lèi)型為手動(dòng)業(yè)務(wù)的節(jié)點(diǎn)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的手動(dòng)任務(wù)列表中看到該節(jié)點(diǎn),當(dāng)您需要運(yùn)行該手動(dòng)任務(wù)時(shí),可以在手動(dòng)任務(wù)列表對(duì)該任務(wù)執(zhí)行運(yùn)行操作,手動(dòng)觸發(fā)任務(wù)運(yùn)行后,會(huì)產(chǎn)生手動(dòng)實(shí)例,您可以在手動(dòng)實(shí)例頁(yè)面查看該實(shí)例執(zhí)行詳情。
實(shí)時(shí)實(shí)例生成邏輯
當(dāng)實(shí)時(shí)任務(wù)被提交或發(fā)布至運(yùn)維中心后,您可以在運(yùn)維中心的實(shí)時(shí)任務(wù)列表對(duì)實(shí)時(shí)任務(wù)進(jìn)行啟動(dòng)、修改資源配置等相關(guān)操作。在Basic模式和Dev-Prod模式的Prod環(huán)境下,實(shí)時(shí)任務(wù)提交后將自動(dòng)生成實(shí)時(shí)實(shí)例,自動(dòng)生成的實(shí)例為未啟動(dòng)的停止狀態(tài)。實(shí)時(shí)任務(wù)運(yùn)維分為實(shí)時(shí)計(jì)算任務(wù)和實(shí)時(shí)集成任務(wù)。
運(yùn)維中心入口
快捷入口(推薦)
在Dataphin首頁(yè),您也可以單擊Dataphin產(chǎn)品使用路徑的運(yùn)維調(diào)度,快速進(jìn)入運(yùn)維中心。
普通入口
在Dataphin首頁(yè),單擊頂部菜單欄的研發(fā)。
在數(shù)據(jù)開(kāi)發(fā)頁(yè)面,單擊頂部菜單欄的運(yùn)維,進(jìn)入運(yùn)維中心頁(yè)面。