每個Flink項目空間都會有一個默認隊列(default-queue)來承載作業的運行。如果您有資源隔離和管理的需求,可以通過添加資源隊列的方式實現。本文為您介紹如何添加、修改和刪除資源隊列。
使用場景及方式
對于有資源隔離和管理需求的批作業場景,配置資源隊列可以實現批作業資源的有效管理,避免單一任務或用戶過度占用資源,造成其他任務或用戶無法獲得足夠資源而導致任務失敗的情況發生。同時,通過將批作業部署到指定資源隊列,并配合任務編排功能確定調度優先級,可以確保關鍵或重要作業獲得更高的處理優先級和更多的資源,從而提高系統性能和資源利用率。
您可以通過以下方式使用資源隊列:
部署作業時,部署目標選擇為目標資源隊列,詳情請參見部署作業。
說明如果您沒有添加新的資源隊列,則默認會使用default-queue來部署并運行作業。
創建Session集群時,部署目標選擇為目標資源隊列,詳情請參見步驟一:創建Session集群。
創建工作流時設置目標資源隊列,詳情請參見管理工作流。
注意事項
目前僅支持獨享模式,暫不支持搶占模式。即資源隊列的任務資源不會被搶占,使用完成釋放資源后,對應的資源才可以被新的任務使用。
添加資源隊列
您可以通過添加資源隊列來實現對資源的隔離和管理。不添加新的資源隊列,則默認會使用default-queue來承載作業的運行。
登錄實時計算管理控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄,單擊
。單擊添加隊列,配置隊列信息。
未分配彈性資源的項目空間
當工作空間為按量付費或包年包月,以及混合計費但未給該項目空間分配彈性資源時,可參考如下信息配置隊列。
配置
說明
隊列名稱
隊列名稱不可重復,只允許小寫字母、數字和中劃線(-) 且長度不超過32位。
說明資源隊列添加成功后,不可修改資源隊列名稱。
資源量(CU)
允許配置的資源量上限由該項目空間剩余的可用資源量決定。如果項目空間可用資源量不足,則可以通過如下方式進行調整:
已分配彈性資源的項目空間
如果為混合計費工作空間,并已為該項目空間分配的彈性資源,可參考如下信息配置隊列。
配置
說明
隊列名稱
隊列名稱不可重復,只允許小寫字母、數字和中劃線(-) 且長度不超過32位。
說明資源隊列添加成功后,不可修改資源隊列名稱。
固定資源(CU)
允許配置的固定資源上限。如果固定資源不足,可以進行調整(與包年包月資源調整操作相同),詳情請參見包年包月資源調整。
彈性資源(CU)
允許配置的彈性資源上限,您可以在隊列管理頁面查看可以分配的彈性資源數,如果不足,可以進行調整(與按量付費資源調整操作相同),詳情請參見按量付費資源調整。
單擊確定。
修改資源量
刪除資源隊列
不支持刪除default-queue。
如果隊列上存在已部署且運行的作業時,則無法刪除。
隊列刪除后,已部署在該隊列上的作業重新啟動時會報錯。
登錄實時計算管理控制臺。
單擊目標工作空間操作列下的控制臺。
在左側導航欄,單擊
。單擊刪除隊列,單擊確定。
相關文檔
項目空間資源變配或配額上限調整,請參見資源調整。
SQL作業、JAR作業和Python作業部署操作,請參見部署作業。
Session集群創建操作,請參見步驟一:創建Session集群。
使用任務編排功能可以編排批作業運行的順序,詳情請參見任務編排(公測)。