本文為您介紹如何通過阿里云賬號登錄E-MapReduce控制臺,基于Kubernetes創建EMR集群。
前提條件
已完成添加AliyunOSSFullAccess和AliyunDLFFullAccess權限,詳情請參見角色授權。
已創建Kubernetes(ACK)集群,詳情請參見創建Kubernetes專有版集群或創建Kubernetes托管版集群。
Kubernetes版本:僅支持1.22~1.24之間的版本。
vCPU:大于等于16 vCPU。
內存:大于等于64 GiB。
實例規格:
僅支持通用型、 計算型、內存型。
僅支持ecs.g5、ecs.g6、ecs.g7及更高系列的規格族。
已創建節點池,詳情請參見創建節點池。
創建ACK集群時,有以下限制信息:
注意事項
同一個ACK集群,不支持重復部署Data Science集群。
操作步驟
登錄EMR on ACK。
在EMR on ACK頁面,單擊創建集群。
配置集群信息。
參數
描述
地域
創建的集群會在對應的地域內,一旦創建不能修改。
集群類型
Data Science:主要面向大數據+AI場景,提供Hive和Spark離線大數據ETL和TensorFlow模型訓練,您可以選擇CPU+GPU的異構計算框架,通過英偉達GPU對部分深度學習算法進行高性能計算。
產品版本
默認最新的軟件版本。
組件版本
展示集群類型下的組件及組件版本信息。
ACK集群
選擇已有的ACK集群,或者在容器服務ACK控制臺新建ACK集群。
說明Data Science集群會使用如下命名空間(Namespace),包括anonymous、cert-manager、fluid-system、ingress-nginx、istio-system、knative-serving、kubeflow、kubernetes-dashboard和monitoring。如果您的ACK集群上有這些Namespace,則集群創建后會覆蓋原有Namespace。
配置專屬節點
單擊配置專屬節點,可以配置EMR專屬節點。配置專屬節點可以對節點池或節點打上EMR專屬的污點和標簽,被配置的節點池或節點只能用于EMR。
集群名稱
集群的名字,長度限制為1~64個字符,僅可使用中文、字母、數字、中劃線(-)和下劃線(_)。
單擊創建。
當集群狀態顯示為運行中時,表示集群創建成功。