高可用以及高性能是分布式任務執行過程中的重要要求。在ACK Pro版集群或ACK Serverless集群Pro版中,您可以通過Kubernetes原生調度語義實現分布式任務的跨可用區打散,以達到高可用區部署的要求,或者通過Kubernetes原生調度語義實現分布式任務在指定可用區中的親和性部署,以達到高性能部署的要求。本文介紹如何實現ECI Pod可用區打散或親和調度。
背景信息
在某些情況下,您可能需要將Pod分散部署到多個不同的可用區,或者部署到某個指定可用區,以實現高可用或者高性能的需求。此時,您可以通過Kubernetes原生調度語義中的Pod拓撲分布約束(topologySpreadConstraints)、節點親和性(nodeAffinity)和Pod親和性(podAffinity)來實現。
僅當Pod中帶有nodeAffinity
、podAffinity
、topologySpreadConstraints
字段或存在匹配的ResourcePolicy時才會啟用可用區打散或親和調度。
更多信息,請參見Kubernetes官方文檔:
前提條件
已有ACK Pro版集群或ACK Serverless集群Pro版,并且滿足以下要求:
集群版本為1.22及以上。
集群中的ACK Virtual Node組件版本為v2.10.0及以上。
集群中的kube-scheduler組件版本為5.9及以上,并且已開啟虛擬節點調度功能。更多信息,請參見開啟集群虛擬節點調度策略。
已在eci-profile中配置多個期望調度的目標可用區(即配置多個交換機)。具體操作,請參見多可用區創建Pod。
注意事項
目前僅支持設置
topologyKey
為topology.kubernetes.io/zone
的用法。如果ECI Pod通過
k8s.aliyun.com/eci-schedule-strategy: "VSwitchOrdered"
的Annotation聲明了多可用區調度策略為按照交換機的指定順序,當前功能將不生效。如果ECI Pod通過
k8s.aliyun.com/eci-fail-strategy: "fail-fast"
的Annotation設置了Pod故障處理策略為fail-fast
,當前功能將不生效。
配置示例
下文將在1.22版本的ACK Serverless集群Pro版本集群中演示ECI Pod可用區打散和親和調度功能。
示例一:通過topologySpreadConstraints實現可用區打散
以下為一個配置了拓撲打散約束的示例。默認情況下,Scheduler會將所有Pod均勻調度到所有可用區上,但并不會考慮Pod的生產結果。更多信息,請參見ECI嚴格拓撲打散功能介紹。
在工作負載聲明中增加拓撲分布約束。
Pod的
Spec
字段中或Deployment、Job等工作負載的PodTemplate的Spec
字段中,可以通過以下方式聲明一個拓撲分布約束。topologySpreadConstraints: - maxSkew: <integer> minDomains: <integer> # 可選,從v1.25開始成為Beta。 topologyKey: <string> whenUnsatisfiable: <string> labelSelector: <object> matchLabelKeys: <list> # 可選,從v1.27開始成為Beta。 nodeAffinityPolicy: [Honor|Ignore] # 可選,從v1.26開始成為Beta。 nodeTaintsPolicy: [Honor|Ignore] # 可選,從v1.26開始成為Beta。
本示例將創建一個在多個可用區上均勻分布的Deployment。關于參數的詳細信息,請參見topologySpreadConstraints字段。以下為該Deployment的YAML文件。
apiVersion: apps/v1 kind: Deployment metadata: name: with-pod-topology-spread labels: app: with-pod-topology-spread spec: replicas: 10 selector: matchLabels: app: with-pod-topology-spread template: metadata: labels: app: with-pod-topology-spread spec: topologySpreadConstraints: - maxSkew: 1 topologyKey: topology.kubernetes.io/zone whenUnsatisfiable: DoNotSchedule labelSelector: matchLabels: app: with-pod-topology-spread containers: - name: with-pod-topology-spread image: registry.k8s.io/pause:2.0 resources: requests: cpu: "1" memory: "256Mi"
創建工作負載。
將上面的代碼保存為
deployment.yaml
,并執行以下命令將Deployment提交到集群中。kubectl apply -f deployment.yaml
驗證工作負載調度結果。
通過以下命令查看生產出的Pod所在的節點。
kubectl get po -lapp=with-pod-topology-spread -ocustom-columns=NAME:.metadata.name,NODE:.spec.nodeName --no-headers | grep -v "<none>"
通過以下命令查看生產出的Pod在各個可用區中的數量。
kubectl get po -lapp=with-pod-topology-spread -ocustom-columns=NODE:.spec.nodeName --no-headers | grep -v "<none>" | xargs -I {} kubectl get no {} -ojson | jq '.metadata.labels["topology.kubernetes.io/zone"]' | sort | uniq -c
示例二:通過nodeAffinity和podAffinity實現可用區親和
在工作負載聲明中增加親和性約束。
本示例將創建在單個可用區上聚集分布的Deployment。關于參數的詳細信息,請參見節點親和性。以下為該Deployment的YAML文件。
apiVersion: apps/v1 kind: Deployment metadata: name: with-affinity labels: app: with-affinity spec: replicas: 3 selector: matchLabels: app: with-affinity template: metadata: labels: app: with-affinity spec: affinity: podAffinity: requiredDuringSchedulingIgnoredDuringExecution: - labelSelector: matchExpressions: - key: app operator: In values: - with-affinity topologyKey: topology.kubernetes.io/zone containers: - name: with-affinity image: registry.k8s.io/pause:2.0
若您希望指定可用區進行部署,可以將示例中的
podAffinity
刪去,在nodeAffinity
添加如下約束。下方約束表明Pod必須在可用區cn-beijing-a上進行部署。requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: topology.kubernetes.io/zone operator: In values: - cn-beijing-a
以下為
nodeAffinity
的完整示例,表明Pod必須在可用區cn-beijing-a上進行部署。apiVersion: apps/v1 kind: Deployment metadata: name: with-affinity labels: app: with-affinity spec: replicas: 3 selector: matchLabels: app: with-affinity template: metadata: labels: app: with-affinity spec: affinity: nodeAffinity: requiredDuringSchedulingIgnoredDuringExecution: nodeSelectorTerms: - matchExpressions: - key: topology.kubernetes.io/zone operator: In values: - cn-beijing-a containers: - name: with-affinity image: registry.k8s.io/pause:2.0
創建工作負載。
將上面的代碼保存為
deployment.yaml
,并執行以下命令將Deployment提交到集群中。kubectl apply -f deployment.yaml
驗證工作負載調度結果。
通過以下命令查看生產出的Pod所在的節點。
kubectl get po -lapp=with-affinity -ocustom-columns=NAME:.metadata.name,NODE:.spec.nodeName --no-headers | grep -v "<none>"
通過以下命令查看生產出的Pod在各個可用區中的數量。
kubectl get po -lapp=with-affinity -ocustom-columns=NODE:.spec.nodeName --no-headers | grep -v "<none>" | xargs -I {} kubectl get no {} -ojson | jq '.metadata.labels["topology.kubernetes.io/zone"]' | sort | uniq -c
ECI嚴格拓撲打散功能介紹
在保持默認狀態不變的情況下,當配置了強制打散約束時,Scheduler會將所有Pod均勻放置到所有可用區上,但并不考慮ECI Pod的生產結果。如下圖所示,假設將打散功能的maxSkew設置為1。關于maxSkew,請參見maxSkew。
此時若可用區B和C中生產ECI Pod失敗,則可用區A上會放置2個ECI Pod,其他兩個可用區沒有ECI Pod,從而破壞打散功能的maxSkew約束。
當嚴格拓撲打散功能開啟后,在ACK Serverless集群Pro版中,調度器將嚴格保證Pod的強制打散需求得到滿足。Scheduler會在可用區A、B、C上各放置1個Pod,剩下的Pod將處于Pending狀態,等待現有Pod生產,如下圖所示。
當PodA1生產成功后,Pending狀態的Pod將繼續Pending,這是由于可用區B以及可用區C上的ECI Pod仍然可能生產失敗,Pod放置于任意可用區仍然可能導致生產結束后破壞maxSkew約束。當PodB1生產成功后,Scheduler將會放置一個Pod在可用區C。如下圖所示,其中綠色背景的Pod為生產完成的Pod。
若您不需要嚴格拓撲打散功能,請將拓撲打散約束中的調度條件whenUnsatisfiable
設置為ScheduleAnyway
。詳細信息,請參見分布約束定義。