作業(yè)啟動(dòng)
完成作業(yè)開(kāi)發(fā)和部署后,您需要在作業(yè)運(yùn)維頁(yè)面啟動(dòng)作業(yè)至運(yùn)行階段。此外,作業(yè)在停止后需要恢復(fù)、更新非動(dòng)態(tài)生效的參數(shù)配置后需要生效時(shí),也需要啟動(dòng)作業(yè)。本文為您介紹如何啟動(dòng)作業(yè)。
前提條件
已完成作業(yè)部署,詳情請(qǐng)參見(jiàn)部署作業(yè)。
使用限制
僅流作業(yè)支持填寫(xiě)啟動(dòng)選項(xiàng)。
僅實(shí)時(shí)計(jì)算引擎VVR 4.0.11及以上版本支持State兼容性檢測(cè)。
注意事項(xiàng)
當(dāng)RAM用戶(hù)、RAM角色或其他阿里云賬號(hào)在啟動(dòng)作業(yè)時(shí),請(qǐng)確保其具有目標(biāo)項(xiàng)目空間的訪(fǎng)問(wèn)權(quán)限,詳情請(qǐng)參見(jiàn)項(xiàng)目空間授權(quán)和權(quán)限管理。
在啟動(dòng)作業(yè)時(shí),如果您選擇從最新?tīng)顟B(tài)或指定狀態(tài)啟動(dòng)作業(yè)時(shí),系統(tǒng)會(huì)進(jìn)行State兼容性檢測(cè)。請(qǐng)謹(jǐn)慎啟動(dòng)存在不兼容情況的作業(yè),因?yàn)閱?dòng)后可能會(huì)出現(xiàn)啟動(dòng)失敗或者運(yùn)行結(jié)果等不符合預(yù)期的問(wèn)題。詳情請(qǐng)參見(jiàn)Flink State兼容性參考。
操作步驟
進(jìn)入作業(yè)啟動(dòng)界面。
具有owner角色的成員登錄Flink開(kāi)發(fā)控制臺(tái)。
在頁(yè)面頂部,選擇目標(biāo)項(xiàng)目空間名稱(chēng)。
在
頁(yè)面的下拉列表中,選擇流作業(yè)或批作業(yè)。
在目標(biāo)作業(yè)名稱(chēng)右側(cè),單擊操作列下的啟動(dòng)。
(可選)流作業(yè)需要填寫(xiě)啟動(dòng)選項(xiàng)信息。
無(wú)狀態(tài)啟動(dòng)
當(dāng)您是新上線(xiàn)作業(yè)或者無(wú)法復(fù)用State時(shí),需要選擇無(wú)狀態(tài)啟動(dòng)。此外,您需要根據(jù)業(yè)務(wù)情況決定是否打開(kāi)自動(dòng)調(diào)優(yōu)。
策略
說(shuō)明
指定源表開(kāi)始時(shí)間
選中指定源表開(kāi)始時(shí)間并指定具體的時(shí)間信息。
僅日志服務(wù)SLS和消息隊(duì)列Kafka支持在界面上設(shè)置源表開(kāi)始時(shí)間。
作業(yè)啟動(dòng)界面指定的讀取數(shù)據(jù)時(shí)間優(yōu)先級(jí)高于作業(yè)DDL代碼里設(shè)置的startTime。
說(shuō)明不是所有連接器都支持配置startTime參數(shù),詳情請(qǐng)參見(jiàn)各連接器WITH參數(shù)是否包含startTime,例如日志服務(wù)SLS WITH參數(shù)。
只有全新啟動(dòng)作業(yè)并指定了startTime,startTime才生效。如果基于系統(tǒng)檢查點(diǎn)或作業(yè)快照啟動(dòng)作業(yè),指定了startTime不會(huì)生效。
配置自動(dòng)調(diào)優(yōu)
打開(kāi)該開(kāi)關(guān)后,您需要選擇調(diào)優(yōu)模式:
智能調(diào)優(yōu):系統(tǒng)將在資源使用率比較低時(shí),自動(dòng)降低資源配置,在資源使用率提高到一定閾值時(shí),再自動(dòng)提高資源配置。詳情請(qǐng)參見(jiàn)開(kāi)啟并配置智能調(diào)優(yōu)。
定時(shí)調(diào)優(yōu):選擇定時(shí)調(diào)優(yōu)后,您需要在下拉列表中選擇定時(shí)計(jì)劃。一個(gè)計(jì)劃中可以包含多組資源和時(shí)間點(diǎn)的對(duì)應(yīng)關(guān)系。您可以根據(jù)各時(shí)間段的資源使用情況,配置對(duì)應(yīng)的資源。詳情請(qǐng)參見(jiàn)開(kāi)啟并配置定時(shí)調(diào)優(yōu)。
有狀態(tài)啟動(dòng)
您可以根據(jù)業(yè)務(wù)情況選擇具體的啟動(dòng)策略,以及決定是否打開(kāi)自動(dòng)調(diào)優(yōu)。
策略
說(shuō)明
從最新?tīng)顟B(tài)恢復(fù)
從快照或者系統(tǒng)檢查點(diǎn)的最新?tīng)顟B(tài)進(jìn)行恢復(fù)。如果您選擇從最新?tīng)顟B(tài)啟動(dòng)作業(yè)時(shí),F(xiàn)link系統(tǒng)會(huì)檢測(cè)SQL作業(yè)變化(SQL、Flink運(yùn)行參數(shù)配置和引擎版本)。
當(dāng)檢測(cè)到作業(yè)發(fā)生變化時(shí),建議單擊狀態(tài)兼容性檢測(cè)旁的點(diǎn)擊檢測(cè)檢查兼容性,并依據(jù)兼容性結(jié)果后決定后續(xù)行為。兼容性結(jié)果含義及建議,詳情請(qǐng)參見(jiàn)兼容性。
從指定狀態(tài)恢復(fù)
選擇指定的快照,快照創(chuàng)建步驟詳情請(qǐng)參見(jiàn)作業(yè)狀態(tài)集管理。
從其他作業(yè)恢復(fù)
選擇從其他作業(yè)恢復(fù)后,您需要指定目標(biāo)作業(yè)及對(duì)應(yīng)的快照,來(lái)進(jìn)行作業(yè)恢復(fù)。支持作業(yè)間快照的共享,但需要滿(mǎn)足作業(yè)間的狀態(tài)的兼容性,詳情請(qǐng)參見(jiàn)作業(yè)狀態(tài)集管理。
允許忽略部分算子狀態(tài)(AllowNonRestoredState)
說(shuō)明僅JAR作業(yè)支持。
默認(rèn)情況下,F(xiàn)link系統(tǒng)會(huì)嘗試將整個(gè)快照與正在提交的作業(yè)匹配。作業(yè)的修改引起算子狀態(tài)的變化,會(huì)出現(xiàn)任務(wù)不能恢復(fù)的情況。此時(shí)您可以打開(kāi)此開(kāi)關(guān),F(xiàn)link系統(tǒng)將跳過(guò)無(wú)法匹配的狀態(tài),讓作業(yè)先正常啟動(dòng)起來(lái)。允許忽略部分算子狀態(tài)詳情請(qǐng)參見(jiàn)Allow None-Restored State。
配置自動(dòng)調(diào)優(yōu)
打開(kāi)該開(kāi)關(guān)后,您需要選擇調(diào)優(yōu)模式:
智能調(diào)優(yōu):系統(tǒng)將在資源使用率比較低時(shí),自動(dòng)降低資源配置,在資源使用率提高到一定閾值時(shí),再自動(dòng)提高資源配置。詳情請(qǐng)參見(jiàn)開(kāi)啟并配置智能調(diào)優(yōu)。
定時(shí)調(diào)優(yōu):選擇定時(shí)調(diào)優(yōu)后,您需要在下拉列表中選擇定時(shí)計(jì)劃。一個(gè)計(jì)劃中可以包含多組資源和時(shí)間點(diǎn)的對(duì)應(yīng)關(guān)系。您可以根據(jù)各時(shí)間段的資源使用情況,配置對(duì)應(yīng)的資源。詳情請(qǐng)參見(jiàn)開(kāi)啟并配置定時(shí)調(diào)優(yōu)。
單擊啟動(dòng)。
頁(yè)面,查看作業(yè)運(yùn)行狀態(tài),詳情請(qǐng)參見(jiàn)
相關(guān)文檔
作業(yè)啟動(dòng)后,如果您需要修改作業(yè)運(yùn)行參數(shù),請(qǐng)參見(jiàn)運(yùn)行參數(shù)配置。部分參數(shù)也支持動(dòng)態(tài)更新,減少作業(yè)啟停帶來(lái)的業(yè)務(wù)斷流時(shí)間,詳情請(qǐng)參見(jiàn)動(dòng)態(tài)擴(kuò)縮容與參數(shù)動(dòng)態(tài)更新。
作業(yè)啟動(dòng)后,如果您需要進(jìn)行作業(yè)的數(shù)據(jù)溯源和追蹤,定位問(wèn)題或者評(píng)估影響面,請(qǐng)參見(jiàn)查看血緣關(guān)系。
如果您需要了解企業(yè)級(jí)狀態(tài)后端存儲(chǔ)GeminiStateBackend,以及其與RocksDBStateBackend的性能對(duì)比情況,請(qǐng)參見(jiàn)企業(yè)級(jí)狀態(tài)后端存儲(chǔ)介紹。
作業(yè)啟動(dòng)、停止的相關(guān)API,請(qǐng)參見(jiàn)作業(yè)實(shí)例。