當您需要在短時間內快速創建大量Pod時,ECS節點擴容速度可能無法滿足要求,而預留額外的ECS節點又會產生資源浪費。借助ACK虛擬節點(Virtual Node)可以將Pod快速地調度到彈性容器實例ECI上運行,且無需購買和管理ECS節點。本文主要介紹如何在注冊集群中將Pod調度到ECI上運行。
工作原理
阿里云彈性容器實例ECI(Elastic Container Instance)是面向容器設計的無服務器彈性計算服務,提供了免運維、強隔離、能快速啟動的容器運行環境。使用ECI時,您無需購買和管理底層ECS服務器,可以更加關注容器應用而非底層基礎設施的維護工作。您可按需創建ECI,僅為容器配置的資源付費(按量按秒計費)。
通常,您的ACK集群會有至少一組ECS節點池,創建Pod時,背后是將Pod調度到ECS節點上運行,這種架構能很好地應對流量穩定的業務。如果您的業務有不易提前預測的瞬時波峰,盡管ACK支持彈性伸縮,但ECS節點池擴容時,ECS實例的創建和啟動本身會有一定的額外耗時。借助虛擬節點Virtual Node,您可以直接將Pod調度到ECI上運行,省去節點創建時間,避免產生閑置節點資源,降低成本。
前提條件
步驟一:為ack-virtual-node組件配置RAM權限
通過onectl配置
在本地安裝配置onectl。具體操作,請參見通過onectl管理注冊集群。
執行以下命令,為ack-virtual-node組件配置RAM權限。
onectl ram-user grant --addon ack-virtual-node
預期輸出:
Ram policy ack-one-registered-cluster-policy-ack-virtual-node granted to ram user ack-one-user-ce313528c3 successfully.
通過控制臺配置
在注冊集群安裝組件之前,您需要在接入集群中設置AccessKey用來訪問云服務的權限。設置AccessKey之前,您需要創建RAM用戶并為其添加訪問相關云資源的權限。
創建RAM用戶。具體操作,請參見創建RAM用戶。
可選:創建自定義權限策略。具體操作,請參見創建自定義權限策略。
{ "Version": "1", "Statement": [ { "Action": [ "eci:CreateContainerGroup", "eci:DeleteContainerGroup", "eci:DescribeContainerGroups", "eci:DescribeContainerGroupStatus", "eci:DescribeContainerGroupEvents", "eci:DescribeContainerLog", "eci:UpdateContainerGroup", "eci:UpdateContainerGroupByTemplate", "eci:CreateContainerGroupFromTemplate", "eci:RestartContainerGroup", "eci:ExportContainerGroupTemplate", "eci:DescribeContainerGroupMetric", "eci:DescribeMultiContainerGroupMetric", "eci:ExecContainerCommand", "eci:CreateImageCache", "eci:DescribeImageCaches", "eci:DeleteImageCache", "vpc:DescribeVSwitches" ], "Resource": [ "*" ], "Effect": "Allow" } ] }
為RAM用戶添加權限。具體操作,請參見為RAM用戶授權。
可選擇自定義權限策略或AliyunECIFullAccess策略為RAM用戶授權。
為RAM用戶創建AccessKey。具體操作,請參見獲取AccessKey。
使用AccessKey在注冊集群中創建名為alibaba-addon-secret的Secret資源。
安裝ack-virtual-node組件時將自動引用此AccessKey訪問對應的云服務資源。
kubectl -n kube-system create secret generic alibaba-addon-secret --from-literal='access-key-id=<your access key id>' --from-literal='access-key-secret=<your access key secret>'
說明<your access key id>
及<your access key secret>
為上一步獲取的AccessKey信息。
步驟二:安裝ack-virtual-node組件
通過onectl安裝
執行以下命令,安裝ack-virtual-node組件。
onectl addon install ack-virtual-node
預期輸出:
Addon ack-virtual-node, version **** installed.
通過控制臺安裝
步驟三:將Pod調度到ECI上運行
為集群部署了ack-virtual-node組件后,您可以借助虛擬節點將Pod調度到ECI上。本小節介紹了在注冊集群中將Pod調度到ECI上的兩種常見方式。調度前需要確保Virtual node的狀態為Ready。
執行以下命令,查看Virtual node狀態。
kubectl get no |grep virtual-kubelet
預期輸出:
virtual-kubelet-cn-hangzhou-b Ready agent 18d v1.20.11-aliyun.1
從預期輸出可知,當前Virtual node狀態為Ready。
通過以下三種方式可將Pod調度到ECI上運行。
方式一:配置Pod標簽(集群版本需大于1.16)
將Pod添加標簽
alibabacloud.com/eci=true
,Pod將以ECI方式運行,其節點是虛擬節點,示例如下:執行以下命令給Pod添加標簽。
執行以下命令查看Pod。
預期輸出:
kubectl run nginx --image nginx -l alibabacloud.com/eci=true
kubectl get pod -o wide|grep virtual-kubelet
nginx-7fc9f746b6-r4xgx 0/1 ContainerCreating 0 20s 192.168.XX.XX virtual-kubelet <none> <none>
方式二:配置命名空間標簽
將Pod所在的命名空間添加標簽
alibabacloud.com/eci=true
,Pod將以ECI方式運行,其節點是虛擬節點,示例如下:執行以下命令創建虛擬節點。
執行以下命令將Pod所在的命名空間添加標簽。
執行以下命令將命名空間中的Pod調度到虛擬節點上。
執行以下命令查看Pod。
預期輸出:
kubectl create ns vk
kubectl label namespace vk alibabacloud.com/eci=true
kubectl -n vk run nginx --image nginx
kubectl -n vk get pod -o wide|grep virtual-kubelet
nginx-6f489b847d-vgj4d 1/1 Running 0 1m 192.168.XX.XX virtual-kubelet <none> <none>
方式三:指定節點名稱
指定Pod調度到虛擬節點,添加
nodeName: virtual-kubelet-cn-shanghai-k
,Pod將以ECI方式運行,其節點是虛擬節點,示例如下:使用以下內容,創建nginx-deployment.yaml。
執行以下命令,創建應用。
執行以下命令查看Pod。
預期輸出:
apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1 kind: Deployment metadata: name: nginx-deployment-basic labels: app: nginx spec: replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: nodeName: virtual-kubelet-cn-shanghai-k # 指定vk的nodeName containers: - name: nginx image: nginx:1.7.9 # replace it with your exactly <image_name:tags> ports: - containerPort: 80 resources: limits: cpu: "500m"
kubectl apply -f nginx-deployment.yaml
kubectl get pod -o wide|grep virtual-kubelet
nginx-6f489b847d-XXX 1/1 Running 0 1m 192.168.XX.XX virtual-kubelet <none> <none> nginx-6f489b847d-XXX 1/1 Running 0 1m 192.168.XX.XX virtual-kubelet <none> <none>
相關操作
修改ECI交換機配置
您可以修改ECI Pod所在的虛擬交換機。建議配置多個虛擬交換機支持多可用區,當單個可用區庫存不足時,Controller會選擇另外一個可用區創建ECI Pod。
通過如下命令修改ECI交換機相關信息:
kubectl edit configmap eci-profile -n kube-system
配置示例如下:
data:
enableClusterIp: "true"
enableHybridMode: "false"
enablePrivateZone: "false"
securityGroupId: sg-2zeeyaaxlkq9sppl****
selectors: ""
vSwitchIds: vsw-2ze23nqzig8inprou****,vsw-2ze94pjtfuj9vaymf**** # ECI Pod所屬交換機??膳渲枚鄠€,用半角逗號間隔。
vpcId: vpc-2zeghwzptn5zii0w7****
更多關于eci-profile配置的詳細信息,請參見配置eci-profile。
刪除虛擬節點
在注冊集群中卸載ack-virtual-node組件。
通過onectl卸載
執行以下命令,卸載組件。
onectl addon uninstall ack-virtual-node
預期輸出:
Addon ack-virtual-node uninstalled.
通過控制臺卸載
在組件管理頁面卸載ack-virtual-node組件即可。
通過命令
kubectl delete node <node name>
刪除相關虛擬節點。說明卸載ack-virtual-node組件后,集群中已創建的ECI Pod并不會被刪除。