任務(wù)管理
本文介紹如何在任務(wù)管理頁(yè)面對(duì)調(diào)度任務(wù)進(jìn)行一系列操作步驟的詳解。
創(chuàng)建調(diào)度任務(wù)
創(chuàng)建任務(wù)前,請(qǐng)確保您已經(jīng)創(chuàng)建了任務(wù)分組。更多信息,請(qǐng)參見應(yīng)用管理。
- 登錄分布式任務(wù)調(diào)度平臺(tái)。
在頂部菜單欄選擇地域。
在左側(cè)導(dǎo)航欄,選擇任務(wù)管理。
在任務(wù)管理頁(yè)面,選擇所屬命名空間,單擊創(chuàng)建任務(wù)。在基本配置向?qū)ы?yè),配置調(diào)度任務(wù)的相關(guān)信息,然后單擊下一步。
基本配置參數(shù)說(shuō)明如下:
配置名稱
說(shuō)明
任務(wù)名
自定義任務(wù)名稱。
描述
任務(wù)描述,盡量簡(jiǎn)潔地描述業(yè)務(wù),便于后續(xù)搜索。
應(yīng)用ID
任務(wù)所屬分組。可以在下拉列表中選擇。
任務(wù)類型
指任務(wù)所實(shí)現(xiàn)的語(yǔ)言,當(dāng)前支持java、xxljob、springschedule、golang、腳本任務(wù)、http和dataworks類型。選擇腳本任務(wù)時(shí),需選擇腳本語(yǔ)言:shell、python或go,您可以在編輯框中編寫任務(wù)腳本。
Class全路徑
說(shuō)明僅任務(wù)類型選擇java時(shí)出現(xiàn)。
JobProcessor的全路徑,例如
xxx.xxx.xxx.HelloProcessor
。執(zhí)行模式
執(zhí)行模式,這里特指任務(wù)執(zhí)行的模式,當(dāng)前支持以下模式。
單機(jī)運(yùn)行:隨機(jī)選一臺(tái)機(jī)器執(zhí)行。
廣播運(yùn)行:所有機(jī)器同時(shí)執(zhí)行并等待全部結(jié)束。
可視化MapReduce:Map模型,子任務(wù)300以下,有子任務(wù)列表。
專業(yè)版可支持至1,000以下,且支持業(yè)務(wù)關(guān)鍵字查詢。
MapReduce:屬于常規(guī)MapReduce模型任務(wù),能支持超大數(shù)量的子任務(wù)并行處理,僅可查詢子任務(wù)運(yùn)行匯總信息,建議子任務(wù)100W以下時(shí)選擇。
分片運(yùn)行:類似elastic-job模型,配置分片參數(shù),可以將分片平均分給多個(gè)客戶端執(zhí)行。支持多語(yǔ)言版本。
說(shuō)明當(dāng)選擇不同執(zhí)行模式后,高級(jí)設(shè)置中的參數(shù)會(huì)隨之變化。
任務(wù)參數(shù)
任意字符串,可以在運(yùn)行時(shí)通過(guò)上下文獲取。
高級(jí)配置參數(shù)說(shuō)明如下:
參數(shù)
適用的執(zhí)行模式
解釋
默認(rèn)值
任務(wù)失敗重試次數(shù)
通用
任務(wù)運(yùn)行失敗自動(dòng)重試的次數(shù)。
說(shuō)明正在執(zhí)行任務(wù)的機(jī)器重啟,任務(wù)會(huì)變成失敗狀態(tài),如果想立即重跑,可以配置該參數(shù)。
0
任務(wù)失敗重試間隔
通用
每次失敗重試的間隔。單位:秒。
30
任務(wù)并發(fā)數(shù)
通用
同一個(gè)Job同一時(shí)間運(yùn)行的實(shí)例個(gè)數(shù)。1表示不允許重復(fù)執(zhí)行。
1
清理策略
通用
任務(wù)執(zhí)行歷史記錄的清理策略。
保留最近N條
保留記錄數(shù)
通用
任務(wù)歷史執(zhí)行記錄的保留記錄數(shù)。
300條
子任務(wù)單機(jī)并發(fā)數(shù)
可視化MapReduce
MapReduce
分片運(yùn)行
分布式模型,單臺(tái)機(jī)器并發(fā)消費(fèi)子任務(wù)的個(gè)數(shù)。
5
子任務(wù)失敗重試次數(shù)
可視化MapReduce
MapReduce
分片運(yùn)行
分布式模型,子任務(wù)失敗自動(dòng)重試的次數(shù)。
0
子任務(wù)失敗重試間隔
可視化MapReduce
MapReduce
分片運(yùn)行
分布式模型,子任務(wù)失敗自動(dòng)重試的間隔。單位:秒。
0
子任務(wù)分發(fā)方式
可視化MapReduce
MapReduce
分片運(yùn)行
推模型:每臺(tái)機(jī)器平均分配子任務(wù)。
拉模型: 每臺(tái)機(jī)器主動(dòng)拉取子任務(wù),沒(méi)有木桶效應(yīng)。拉取過(guò)程中,所有子任務(wù)會(huì)緩存在Master節(jié)點(diǎn),對(duì)內(nèi)存有壓力,建議子任務(wù)數(shù)不超過(guò)10,000。
推模型
子任務(wù)單次拉取數(shù)(僅適用于拉模型)
可視化MapReduce
MapReduce
分片運(yùn)行
Slave節(jié)點(diǎn)每次向Master節(jié)點(diǎn)拉取多少個(gè)子任務(wù)。
5
子任務(wù)隊(duì)列容量(僅適用于拉模型)
可視化MapReduce
MapReduce
分片運(yùn)行
Slave節(jié)點(diǎn)緩存子任務(wù)的隊(duì)列大小。
10
子任務(wù)全局并發(fā)數(shù)(僅適用于拉模型)
可視化MapReduce
MapReduce
分片運(yùn)行
分布式拉模型支持全局子任務(wù)并發(fā)數(shù),可以進(jìn)行限流。
1,000
在定時(shí)配置配置向?qū)ы?yè),設(shè)置定時(shí)參數(shù)和高級(jí)配置參數(shù),然后單擊下一步。
定時(shí)參數(shù)說(shuō)明如下:
配置項(xiàng)
說(shuō)明
時(shí)間類型
none:無(wú)調(diào)度方式,一般通過(guò)工作流觸發(fā)。
cron:Cron表達(dá)式。
api:通過(guò)API觸發(fā)。
fixed_rate:固定頻率。
second_delay:秒級(jí)固定延遲。
onetime:一次性任務(wù)。
unix cron:unix系統(tǒng)下的cron表達(dá)式。
cron表達(dá)式(僅適用于cron時(shí)間類型)
填寫Cron表達(dá)式。可以直接按照Cron語(yǔ)法填寫,也可以使用工具生成并驗(yàn)證。
固定頻率(僅適用于fixed_rate時(shí)間類型)
填寫固定頻率,單位為秒,只支持60秒以上。例如200表示每200s調(diào)度一次。
固定延遲(僅適用于second_delay時(shí)間類型)
填寫固定延遲,單位為秒。范圍為1秒~60秒。例如5表示延遲5秒觸發(fā)調(diào)度。
調(diào)度時(shí)間(僅適用于onetime時(shí)間類型)
填寫任務(wù)指定的執(zhí)行時(shí)間。例如:
2023-7-13 00:00:00
。unix cron表達(dá)式(僅適用于unix cron時(shí)間類型)
填寫unix系統(tǒng)格式的cron表達(dá)式。
高級(jí)配置參數(shù)說(shuō)明如下:
配置項(xiàng)
說(shuō)明
時(shí)間偏移
數(shù)據(jù)時(shí)間相對(duì)于調(diào)度時(shí)間的偏移,可以在調(diào)度時(shí)從上下文獲取該值。
時(shí)區(qū)
可以根據(jù)實(shí)際情況選擇不同時(shí)區(qū),包括一些常用國(guó)家或地區(qū),也包括標(biāo)準(zhǔn)的GMT表達(dá)方式。
在通知配置配置向?qū)ы?yè),設(shè)置報(bào)警參數(shù)及聯(lián)系人,然后單擊完成。
通知渠道及聯(lián)系人目前支持應(yīng)用分組聯(lián)系人、自定義。
應(yīng)用分組聯(lián)系人
應(yīng)用分組聯(lián)系人下所有聯(lián)系人都可接收到通知。
自定義
自定義中通知方式支持聯(lián)系人組、聯(lián)系人兩種方式。
聯(lián)系人組
聯(lián)系人組下所有聯(lián)系人都可以接收到通知。關(guān)于創(chuàng)建聯(lián)系人組,請(qǐng)參見創(chuàng)建通知聯(lián)系人或通知聯(lián)系人組。
聯(lián)系人
1.添加通知聯(lián)系人,添加的聯(lián)系人可以接收到通知。支持設(shè)置多個(gè)通知聯(lián)系人。添加聯(lián)系人后,單擊前往創(chuàng)建聯(lián)系人。
2.在彈出頁(yè)面中單擊新建聯(lián)系人,然后輸入聯(lián)系人信息。
返回任務(wù)管理頁(yè)面,查看剛才創(chuàng)建的任務(wù)是否已存在,且參數(shù)是否和配置一致。
說(shuō)明調(diào)度任務(wù)創(chuàng)建完成后,默認(rèn)為啟用狀態(tài)。您也可以根據(jù)實(shí)際情況禁用、再啟用該任務(wù)。具體操作,請(qǐng)參見啟用和禁用調(diào)度任務(wù)。
編輯調(diào)度任務(wù)
在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)的操作列下的編輯。
在編輯面板,設(shè)置基本配置、定時(shí)配置和報(bào)警配置參數(shù)。
說(shuō)明任務(wù)分組和任務(wù)類型在編輯時(shí)不可修改。其它參數(shù)配置規(guī)則和創(chuàng)建調(diào)度任務(wù)時(shí)一致。
執(zhí)行調(diào)度任務(wù)
在任務(wù)管理頁(yè)面任務(wù)列表的操作列下單擊運(yùn)行一次,可以執(zhí)行一次該調(diào)度任務(wù)。
啟用和禁用調(diào)度任務(wù)
單個(gè)調(diào)度任務(wù)啟用和禁用
在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多,然后選擇禁用或者啟用。
在確認(rèn)對(duì)話框中單擊確認(rèn)。
批量啟用和禁用調(diào)度任務(wù)
如果是專業(yè)版應(yīng)用,您可以批量啟用和禁用調(diào)度任務(wù)。在任務(wù)管理頁(yè)面,勾選目標(biāo)任務(wù),然后單擊任務(wù)列表下方的批量禁用或批量啟用。
復(fù)制調(diào)度任務(wù)
在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多>復(fù)制。可以復(fù)制該調(diào)度任務(wù)的配置,您可以編輯復(fù)制的任務(wù),生成新的調(diào)度任務(wù)。
重刷調(diào)度任務(wù)
如果您的業(yè)務(wù)發(fā)生變更,如數(shù)據(jù)庫(kù)增加一個(gè)字段或者上一個(gè)月數(shù)據(jù)有錯(cuò)誤,需要把過(guò)去一段時(shí)間的任務(wù)重新執(zhí)行一遍,可以重刷調(diào)度任務(wù)數(shù)據(jù)。
任務(wù)和工作流都支持重刷數(shù)據(jù)(只支持天級(jí)別的調(diào)度周期)。
如果您之前執(zhí)行的某個(gè)調(diào)度任務(wù)的數(shù)據(jù)出現(xiàn)偏差或遺漏,您可以通過(guò)重新設(shè)置執(zhí)行參數(shù)并執(zhí)行某個(gè)調(diào)度任務(wù)屬性、獲取數(shù)據(jù)。
- 登錄分布式任務(wù)調(diào)度平臺(tái)。
在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多,然后單擊重刷任務(wù)。
在重刷任務(wù)面板,設(shè)置起止日期和數(shù)據(jù)時(shí)間,單擊確定。
起止日期:指定重刷的日期區(qū)間。
數(shù)據(jù)時(shí)間:指定重刷日期區(qū)間內(nèi)的重刷時(shí)間。
示例重刷配置如下:
當(dāng)前時(shí)間為2019-01-01 10:00:00。
重刷任務(wù)的起止日期為2018-10-01~2018-10-07,默認(rèn)從2018年10月1日00:00:00起,到2018年10月7日23:59:59結(jié)束。
數(shù)據(jù)時(shí)間為11:11:11。
則該任務(wù)會(huì)被重刷7次,生成7個(gè)實(shí)例。
序號(hào)
調(diào)度時(shí)間
數(shù)據(jù)時(shí)間
1
2019.1.1 10:00:00
2018.10.1 11:11:11
2
2019.1.1 10:00:00
2018.10.2 11:11:11
3
2019.1.1 10:00:00
2018.10.3 11:11:11
4
2019.1.1 10:00:00
2018.10.4 11:11:11
5
2019.1.1 10:00:00
2018.10.5 11:11:11
6
2019.1.1 10:00:00
2018.10.6 11:11:11
7
2019.1.1 10:00:00
2018.10.7 11:11:11
查看調(diào)度任務(wù)的執(zhí)行記錄和操作記錄
查看執(zhí)行記錄:在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多>歷史記錄,查看該調(diào)度任務(wù)的執(zhí)行記錄。
查看操作記錄:在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多>操作記錄,查看該調(diào)度任務(wù)的管理操作記錄。
刪除調(diào)度任務(wù)
在任務(wù)管理頁(yè)面,單擊目標(biāo)任務(wù)操作列下的更多>刪除。
在彈出的確認(rèn)對(duì)話框中單擊確認(rèn)。
導(dǎo)入或?qū)С鋈蝿?wù)
在任務(wù)管理頁(yè)面,選擇應(yīng)用(專業(yè)版的應(yīng)用)。
單擊導(dǎo)入任務(wù)或者導(dǎo)出任務(wù)即可。