部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS實例分布的策略,從而提升ECS實例的容災能力和可用性。在創建EMR集群或新增節點組時,您可以選擇是否啟用部署集,并為不同節點組配置不同的部署集策略,從而提升集群的容災能力和可用性。本文介紹如何在創建集群和新增節點組時開啟加入部署集開關。
使用限制
本文操作僅適用于新版數據湖(DataLake)、實時數據流(DataFlow)、數據分析(OLAP)、數據服務(DataServing)和自定義集群(Custom)場景的集群。
創建集群時配置的節點組部署集,創建完成后不支持更改。
僅Master和Core類型的節點組支持加入部署集。
最多支持20臺ECS實例加入部署集。
部署集支持的實例規格族信息:
說明部分規格族只支持特定的部署集策略,您可以調用DescribeDeploymentSetSupportedInstanceTypeFamily獲取各種部署集策略支持的實例規格族信息。
部署策略
支持的實例規格族
高可用策略和部署集組高可用策略
g8i、g8y、g7se、g7a、g7、g7t、g7ne、g7nex、g6、g6e、g6a、g6h、g5、g5ne、sn2ne
c8i、c8y、c7se、c7、c7t、c7nex、c7a、c6、c6a、c6e、c5、ic5、sn1ne
r8y、r7、r7se、r7t、r7a、r6、r6e、r6a、re6、re6p、r5、re4、se1ne、se1
hfc8i、hfg8i、hfr8i、hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5
d3s、d3c、d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3
i4、i4g、i4r、i3g、i3、i2、i2g、i2ne、i2gne、i1
ebmg5、ebmc7、ebmg7、ebmr7、sccgn6、scch5、scch5s、sccg5、sccg5s
e、s6、t6、xn4、mn4、n4、e4
gn6i
u1
網絡低時延策略
g8a、g8i、g8ae、g8y
c8a、c8i、c8ae、c8y
r8a、r8i、r8ae、r8y
i4
hfc8i、hfg8i、hfr8i
ebmgn7ex、ebmc7、ebmg7、ebmr7
注意事項
如果您的集群數據存儲方案為本地HDFS存儲方案,且Core節點使用了本地盤機型(大數據型、本地SSD),建議您為使用本地盤機型的Core節點組開啟部署集功能來提升數據安全性。
由于加入部署集后節點組的節點數會受到限制,所以請您謹慎選擇是否為節點組開啟加入部署集開關。
如果創建集群時開啟服務高可用開關,則Master節點會默認開啟加入部署集開關。
EMR集群釋放后會自動釋放集群關聯的部署集,請勿在EMR自動創建的部署集內手動添加其他ECS實例。
創建集群時開啟加入部署集
進入EMR on ECS頁面。
在左側導航欄,單擊EMR on ECS。
在頂部菜單欄處,根據實際情況選擇地域和資源組。
單擊上方的創建集群。
在創建集群時的硬件配置階段,如果節點組類型為Master或Core,則會有加入部署集配置。開啟后,該節點組內所有節點(包括后期新增節點)將加入部署集。
配置集群信息,具體請參見創建集群。
新建節點組時開啟加入部署集
進入節點管理頁面。
在左側導航欄,單擊EMR on ECS。
在頂部菜單欄處,根據實際情況選擇地域和資源組。
在EMR on ECS頁面,單擊目標集群操作列的節點管理。
在節點管理頁面,單擊新增節點組。
在新增節點組頁面進行配置。如果節點組類型為Core,則會有加入部署集配置。開啟后,該節點組內所有節點(包括后期新增節點)會加入部署集。
新增節點組的詳細信息,請參見新增節點組。
查看部署集
登錄ECS管理控制臺。
在左側導航欄,選擇 。
在頁面左側頂部,選擇目標資源所在的資源組和地域。
在部署集頁面,您可以查看集群關聯的部署集信息,部署集命名規則為emr-${clusterId}-default。
重要請勿操作EMR自動創建的部署集,以免影響集群正常運行。
相關文檔
如需詳細了解部署集,請參見部署集概述。