資源隊列用于管理和調度集群資源,旨在實現資源的靈活分配和優化。通過阿里云EMR控制臺,您可以方便地管理資源隊列,并關聯不同的分區。
前提條件
已創建集群,且集群狀態為運行中。創建集群詳情,請參見創建集群。
使用限制
YARN調度器需使用capacity scheduler。
自定義分區相關功能,適用于EMR-5.11.1及之后版本、EMR-3.45.1及之后版本。
關聯YARN分區與隊列
該功能適用于EMR-5.12.1及之后版本、EMR-3.46.1及之后版本。
如果關閉了分區與隊列關聯,則會一鍵清空當前分區已關聯的隊列。
進入服務的配置頁面。
在頂部菜單欄處,根據實際情況選擇地域和資源組。
在EMR on ECS頁面,單擊目標集群操作列的集群服務。
在集群服務頁面,單擊YARN服務區域的配置。
單擊編輯資源隊列頁簽。
在選擇分區下拉列表中選擇已有的分區。
默認展示DEFAULT_PARTITION分區,所有隊列均可訪問該分區。新增分區的具體操作,請參見EMR控制臺管理YARN分區。
打開啟用分區與隊列關聯管理開關。
列表會為您展示可訪問當前分區或在當前分區有容量的隊列。
在彈出的對話框中,設置隊列容量占比,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的提示燈。
在彈出的對話框中,單擊配置下發。
單擊編輯資源隊列頁簽上方的提示燈。
單擊待生效配置。
新增隊列
為葉子隊列添加子隊列時,必須先停止該隊列,才可添加成功,否則會部署失敗。
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉列表中選擇已有的分區。
默認展示DEFAULT_PARTITION分區。
單擊管理隊列或管理子隊列。
可以在選擇父級隊列下拉列表中選擇父隊列。
默認root隊列。
在管理子隊列對話框中,單擊新增隊列。
設置隊列名稱、隊列容量占比和狀態,單擊確定。
同一父隊列的所有子隊列容量之和須為100%。
生效配置。
單擊編輯資源隊列頁簽上方的提示燈。
在彈出的對話框中,單擊配置下發。
單擊編輯資源隊列頁簽上方的提示燈。
單擊待生效配置。
編輯隊列
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉列表中選擇已有的分區。
默認展示DEFAULT_PARTITION分區。
在編輯資源隊列頁簽,單擊root隊列前的圖標。
單擊目標隊列操作列的編輯。
在編輯對話框中,可以修改以下參數,單擊確定。
參數
說明
當前隊列名稱
隊列名稱,您可以自定義。僅DEFAULT_PARTITION分區下可以編輯。
用戶最小容量
單個用戶可以使用集群中的資源比例。對應YARN UI的
Configured Minimum User Limit Percent
參數。僅DEFAULT_PARTITION分區下可以編輯。
用戶資源因子
單個用戶最多可使用的資源量與該隊列容量的比例。對應YARN UI的
Configured user limit factor
參數。僅DEFAULT_PARTITION分區下可以編輯。
資源隊列狀態
包括開啟和停止狀態。僅DEFAULT_PARTITION分區下可以編輯。
說明在將父隊列設置為停止之前,必須先將其下的所有子隊列全部停止。
可訪問分區
隊列可以訪問的分區。
說明EMR-5.12.1及之后版本、EMR-3.46.1及之后版本,所有隊列默認可訪問DEFAULT分區。
子隊列的可訪問分區默認會繼承父隊列,但也可根據需要單獨進行配置。
默認分區
隊列默認分區。如果沒有進行分區配置,默認為使用僅DEFAULT_PARTITION分區。
生效配置。
單擊編輯資源隊列頁簽上方的提示燈。
在彈出的對話框中,單擊配置下發。
單擊編輯資源隊列頁簽上方的提示燈。
單擊待生效配置。
刪除隊列
待刪除隊列狀態須為停止,刪除才能生效,否則會部署失敗。
刪除隊列前,需保證所有分區下該隊列容量為0。
同一父隊列的所有子隊列容量之和須為100%。
如果您使用的是YARN 2.8.5版本,則在刪除隊列時,refresh_queues操作將無法生效。您需要在YARN狀態頁簽下手動重啟ResourceManager,才能使更改生效。
(可選)在YARN服務的編輯資源隊列頁簽,在選擇分區下拉列表中選擇已有的分區。
默認展示DEFAULT_PARTITION分區。
單擊管理隊列。
在管理子隊列對話框中,修改待刪除隊列的狀態為停止,隊列容量占比為0,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的提示燈。
在彈出的對話框中,單擊配置下發。
單擊編輯資源隊列頁簽上方的提示燈。
單擊待生效配置。
再次單擊管理隊列。
在管理子隊列對話框中,單擊待刪除隊列操作列的刪除,單擊確定。
生效配置。
單擊編輯資源隊列頁簽上方的提示燈。
在彈出的對話框中,單擊配置下發。
單擊編輯資源隊列頁簽上方的提示燈。
單擊待生效配置。