完成作業開發和部署后,您需要在作業運維頁面啟動作業至運行階段。此外,作業在停止后需要恢復、更新非動態生效的參數配置后需要生效時,也需要啟動作業。本文為您介紹如何啟動作業。
前提條件
已完成作業部署,詳情請參見部署作業。
使用限制
僅流作業支持填寫啟動選項。
僅實時計算引擎VVR 4.0.11及以上版本支持State兼容性檢測。
注意事項
當RAM用戶、RAM角色或其他阿里云賬號在啟動作業時,請確保其具有目標項目空間的訪問權限,詳情請參見項目空間授權和權限管理。
在啟動作業時,如果您選擇從最新狀態或指定狀態啟動作業時,系統會進行State兼容性檢測。請謹慎啟動存在不兼容情況的作業,因為啟動后可能會出現啟動失敗或者運行結果等不符合預期的問題。詳情請參見Flink State兼容性參考。
操作步驟
進入作業啟動界面。
具有owner角色的成員登錄Flink開發控制臺。
在頁面頂部,選擇目標項目空間名稱。
在
頁面的下拉列表中,選擇流作業或批作業。
在目標作業名稱右側,單擊操作列下的啟動。
(可選)流作業需要填寫啟動選項信息。
無狀態啟動
當您是新上線作業或者無法復用State時,需要選擇無狀態啟動。此外,您需要根據業務情況決定是否打開自動調優。
策略
說明
指定源表開始時間
選中指定源表開始時間并指定具體的時間信息。
僅日志服務SLS和消息隊列Kafka支持在界面上設置源表開始時間。
作業啟動界面指定的讀取數據時間優先級高于作業DDL代碼里設置的startTime。
說明不是所有連接器都支持配置startTime參數,詳情請參見各連接器WITH參數是否包含startTime,例如日志服務SLS WITH參數。
只有全新啟動作業并指定了startTime,startTime才生效。如果基于系統檢查點或作業快照啟動作業,指定了startTime不會生效。
配置自動調優
打開該開關后,您需要選擇調優模式:
有狀態啟動
您可以根據業務情況選擇具體的啟動策略,以及決定是否打開自動調優。
策略
說明
從最新狀態恢復
從快照或者系統檢查點的最新狀態進行恢復。如果您選擇從最新狀態啟動作業時,Flink系統會檢測SQL作業變化(SQL、Flink運行參數配置和引擎版本)。
當檢測到作業發生變化時,建議單擊狀態兼容性檢測旁的點擊檢測檢查兼容性,并依據兼容性結果后決定后續行為。兼容性結果含義及建議,詳情請參見兼容性。
從指定狀態恢復
選擇指定的快照,快照創建步驟詳情請參見作業狀態集管理。
從其他作業恢復
選擇從其他作業恢復后,您需要指定目標作業及對應的快照,來進行作業恢復。支持作業間快照的共享,但需要滿足作業間的狀態的兼容性,詳情請參見作業狀態集管理。
允許忽略部分算子狀態(AllowNonRestoredState)
說明僅JAR作業支持。
默認情況下,Flink系統會嘗試將整個快照與正在提交的作業匹配。作業的修改引起算子狀態的變化,會出現任務不能恢復的情況。此時您可以打開此開關,Flink系統將跳過無法匹配的狀態,讓作業先正常啟動起來。允許忽略部分算子狀態詳情請參見Allow None-Restored State。
配置自動調優
打開該開關后,您需要選擇調優模式:
單擊啟動。
在查看作業運行狀態。
頁面,查看作業運行狀態,詳情請參見
相關文檔
作業啟動后,如果您需要修改作業運行參數,請參見運行參數配置。部分參數也支持動態更新,減少作業啟停帶來的業務斷流時間,詳情請參見動態擴縮容與參數動態更新。
作業啟動后,如果您需要進行作業的數據溯源和追蹤,定位問題或者評估影響面,請參見查看血緣關系。
如果您需要了解企業級狀態后端存儲GeminiStateBackend,以及其與RocksDBStateBackend的性能對比情況,請參見企業級狀態后端存儲介紹。
作業啟動、停止的相關API,請參見作業實例。