通過(guò)ArgoCD UI部署

1. 登錄ACK One控制臺(tái)，在左側(cè)導(dǎo)航欄選擇艦隊(duì) > 多集群應(yīng)用。

2. 在GitOps頁(yè)面，單擊GitOps控制臺(tái)跳轉(zhuǎn)至GitOps頁(yè)面。

   說(shuō)明

   • 若ACK One艦隊(duì)的Fleet實(shí)例未開(kāi)啟GitOps，請(qǐng)先單擊開(kāi)啟GitOps，才能登錄GitOps控制臺(tái)。

   • 如需通過(guò)公網(wǎng)訪問(wèn)GitOps，請(qǐng)開(kāi)通公網(wǎng)訪問(wèn)GitOps。

3. 添加應(yīng)用倉(cāng)庫(kù)。

   1. 在ArgoCD UI左側(cè)導(dǎo)航欄選擇Settings，然后選擇Repositories > + Connect Repo 。

   2. 在彈出的面板中配置以下信息，然后單擊CONNECT添加連接。

      區(qū)域	參數(shù)	參數(shù)值
      Choose your connection method		VIA HTTPS
      CONNECT REPO USING HTTPS	Type	git
      	Project	default
      	Repository URL	https://github.com/AliyunContainerService/gitops-demo.git
      	Skip server verification	勾選

      

      連接添加成功后會(huì)顯示Git的CONNECTION STATUS為Successful。

      

4. 創(chuàng)建應(yīng)用。

   在ArgoCD的Applications頁(yè)面中，單擊+ NEW APP，進(jìn)行如下參數(shù)配置。

   區(qū)域	參數(shù)	說(shuō)明
   GENERAL	Application Name	自定義應(yīng)用名稱。
   	Project Name	default
   	SYNC POLICY	可根據(jù)實(shí)際情況選擇同步策略。取值： Manual：當(dāng)Git端有變更時(shí)，需手動(dòng)執(zhí)行同步動(dòng)作將其部署至目標(biāo)集群。 Automatic：ArgoCD Server每隔3分鐘自動(dòng)檢測(cè)Git端的變更并將其自動(dòng)部署至目標(biāo)集群。
   	SYNC OPTIONS	勾選AUTO-CREATE NAMESPACE。
   SOURCE	Repository URL	在下拉列表選擇已有Git Repo，此處選擇上一步已添加的https://github.com/AliyunContainerService/gitops-demo.git。
   	Revision	選擇Branches：gateway-demo。
   	Path	manifests/helm/web-demo
   DESTINATION	Cluster URL	選擇集群1或集群2的URL。 也可以單擊右側(cè)的URL，切換為根據(jù)CLUSTER NAME字段選擇。
   	Namespace	本示例使用gateway-demo。表示應(yīng)用資源（Service、Deployment）將被創(chuàng)建在此Namespace下。
   Helm	Parameters	envCluster值設(shè)置為cluster-demo-1或cluster-demo-2，用于區(qū)分請(qǐng)求由哪個(gè)集群的后端處理。

通過(guò)ArgoCD CLI部署

1. 在ACK One Fleet實(shí)例中開(kāi)啟GitOps。具體操作，請(qǐng)參見(jiàn)在ACK One Fleet實(shí)例中開(kāi)啟GitOps。

2. 訪問(wèn)ArgoCD。具體操作，請(qǐng)參見(jiàn)通過(guò)ArgoCD CLI方式訪問(wèn)ArgoCD。

3. 創(chuàng)建并發(fā)布應(yīng)用。

   1. 執(zhí)行以下命令，添加Git Repo。

      argocd repo add https://github.com/AliyunContainerService/gitops-demo.git --name ackone-gitops-demos

      預(yù)期輸出：

      Repository 'https://github.com/AliyunContainerService/gitops-demo.git' added

   2. 執(zhí)行以下命令，查看已添加的Git Repo列表。

      argocd repo list

      預(yù)期輸出：

      TYPE  NAME  REPO                                                       INSECURE  OCI    LFS    CREDS  STATUS      MESSAGE  PROJECT
      git         https://github.com/AliyunContainerService/gitops-demo.git  false     false  false  false  Successful           default

   3. 執(zhí)行以下命令，查看Clusters列表。

      argocd cluster list

      預(yù)期輸出：

      SERVER                          NAME                                        VERSION  STATUS      MESSAGE                                                  PROJECT
      https://1.1.XX.XX:6443      c83f3cbc90a****-temp01   1.22+    Successful
      https://2.2.XX.XX:6443      c83f3cbc90a****-temp02   1.22+    Successful
      https://kubernetes.default.svc  in-cluster                                           Unknown     Cluster has no applications and is not being monitored.

   4. 使用Application方式創(chuàng)建并發(fā)布Demo應(yīng)用到目標(biāo)集群。

      1. 使用以下內(nèi)容，創(chuàng)建apps-web-demo.yaml文件。

         其中repoURL需替換為您實(shí)際的倉(cāng)庫(kù)地址。

         展開(kāi)查看apps-web-demo.yaml文件

         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             # https://1.1.XX.XX:6443
             server: ${cluster1_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-1
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true
         ---
         apiVersion: argoproj.io/v1alpha1
         kind: Application
         metadata:
           name: app-demo-cluster1
           namespace: argocd
         spec:
           destination:
             namespace: gateway-demo
             server: ${cluster2_url}
           project: default
           source:
             helm:
               releaseName: "web-demo"
               parameters:
               - name: envCluster
                 value: cluster-demo-2
               valueFiles:
               - values.yaml
             path: manifests/helm/web-demo
             repoURL: https://github.com/AliyunContainerService/gitops-demo.git
             targetRevision: gateway-demo
           syncPolicy:
             syncOptions:
             - CreateNamespace=true

      2. 執(zhí)行以下命令，部署應(yīng)用。

         kubectl apply -f apps-web-demo.yaml

      3. 執(zhí)行以下命令，查看應(yīng)用列表。

         argocd app list

         預(yù)期輸出：

         # app list
         NAME                      CLUSTER                  NAMESPACE  PROJECT  STATUS  HEALTH   SYNCPOLICY  CONDITIONS  REPO                                                       PATH                     TARGET
         argocd/web-demo-cluster1  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main
         argocd/web-demo-cluster2  https://10.1.XX.XX:6443             default  Synced  Healthy  Auto        <none>      https://github.com/AliyunContainerService/gitops-demo.git  manifests/helm/web-demo  main

同城多活容災(zāi)

創(chuàng)建Ingress實(shí)現(xiàn)同城多活容災(zāi)

在ACK One Fleet實(shí)例中創(chuàng)建以下Ingress對(duì)象，可以實(shí)現(xiàn)同城多活容災(zāi)。

默認(rèn)將流量負(fù)載均衡到已添加到多集群網(wǎng)關(guān)的兩個(gè)集群的同名服務(wù)后端的每個(gè)副本中，如果其中的Cluster 1后端異常，網(wǎng)關(guān)自動(dòng)將流量全都路由到Cluster 2。Cluster 1和Cluster 2的副本數(shù)比為9:1，所以默認(rèn)90%流量被路由到Cluster 1， 10%流量被路由到Cluster 2，在Cluster 1后端全部異常后，100%流量自動(dòng)被路由到Cluster 2。拓?fù)淙缦滤荆?img id="896848a07e26z" src="https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/4020259961/p736646.png" alt="image.png" placement="break" width="500" class="image break">

1. 使用以下內(nèi)容，創(chuàng)建ingress-demo.yaml文件。

   以下代碼中，通過(guò)域名example.com下的/svc1路由規(guī)則暴露后端服務(wù)service1。

   apiVersion: networking.k8s.io/v1
   kind: Ingress
   metadata:
     name: web-demo
   spec:
     ingressClassName: mse
     rules:
     - host: example.com
       http:
         paths:
         - path: /svc1
           pathType: Exact
           backend:
             service:
               name: service1
               port: 
                 number: 80

2. 執(zhí)行以下命令，在ACK One Fleet實(shí)例中部署Ingress。

   kubectl apply -f ingress-demo.yaml -n gateway-demo

實(shí)現(xiàn)灰度發(fā)布驗(yàn)證

在多活容災(zāi)場(chǎng)景下，不影響業(yè)務(wù)的前提下，您可以通過(guò)以下方式對(duì)應(yīng)用進(jìn)行灰度發(fā)布驗(yàn)證。

在已有集群中新建應(yīng)用，僅將Service和Deployment的name和selector與原應(yīng)用進(jìn)行區(qū)分，之后基于Header在新建的應(yīng)用上進(jìn)行驗(yàn)證。

1. 使用以下內(nèi)容，在Cluster 1中新建new-app.yaml文件。僅Service和Deployment與原應(yīng)用有差異，其他均一致。

   apiVersion: v1       
   kind: Service
   metadata:
     name: service1-canary-1
     namespace: gateway-demo
   spec:
     ports:
     - port: 80
       protocol: TCP
       targetPort: 8080
     selector:
       app: web-demo-canary-1
     sessionAffinity: None
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: web-demo-canary-1
     namespace: gateway-demo
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: web-demo-canary-1
     template:
       metadata:
         labels:
           app: web-demo-canary-1
       spec:
         containers:
           - env:
               - name: ENV_NAME
                 value: cluster-demo-1-canary
             image: 'registry-cn-hangzhou.ack.aliyuncs.com/acs/web-demo:0.6.0'
             imagePullPolicy: Always
             name: web-demo

2. 執(zhí)行以下命令，在Cluster 1中部署新的應(yīng)用。

   kubectl apply -f new-app.yaml

3. 使用以下內(nèi)容，創(chuàng)建new-ingress.yaml文件。

   在Fleet實(shí)例中創(chuàng)建基于Header的Ingress。通過(guò)添加Annotations開(kāi)啟Canary，并指定Header，在請(qǐng)求中使用Header: canary-dest: cluster1來(lái)將流量路由到灰度版本進(jìn)行驗(yàn)證。

   • nginx.ingress.kubernetes.io/canary：設(shè)置為"true"，表示開(kāi)啟灰度發(fā)布能力。

   • nginx.ingress.kubernetes.io/canary-by-header：請(qǐng)求到該集群的header key。

   • nginx.ingress.kubernetes.io/canary-by-header-value：請(qǐng)求到該集群的header value。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       name: web-demo-canary-1
       namespace: gateway-demo
       annotations:
         nginx.ingress.kubernetes.io/canary: "true"
         nginx.ingress.kubernetes.io/canary-by-header: "canary-dest"
         nginx.ingress.kubernetes.io/canary-by-header-value: "cluster1"
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /svc1
             pathType: Exact
             backend:
               service:
                 name: service1-canary-1
                 port: 
                   number: 80

4. 執(zhí)行以下命令，在Fleet實(shí)例中部署基于Header的Ingress。

   kubectl apply -f new-ingress.yaml

驗(yàn)證同城多活容災(zāi)實(shí)現(xiàn)效果

修改部署到Cluster 1的副本數(shù)為9，Cluster 2的副本數(shù)為1，即期望默認(rèn)流量按照9:1路由到Cluster 1和Cluster 2，并且在Cluster1異常后，自動(dòng)將所有流量路由到Cluster 2。

執(zhí)行以下命令，獲取多集群網(wǎng)關(guān)的對(duì)外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 默認(rèn)流量按比例路由到兩個(gè)集群

  執(zhí)行以下命令，查看流量的路由情況。

  替換以下XX.XX.XX.XX為上一步獲取的多集群網(wǎng)關(guān)的對(duì)外IP。

  for i in {1..100}; do curl -H "host: example.com" XX.XX.XX.XX done

  預(yù)期輸出：預(yù)期輸出表明，流量被負(fù)載均衡到了Cluster 1和Cluster 2，到Cluster 1和Cluster 2的流量比為9:1。

• Cluster 1異常后流量全部容災(zāi)到Cluster 2

  如果將Cluster 1的Deployment的replica縮為0時(shí)，得到的輸出結(jié)果如下，表明流量已被自動(dòng)容災(zāi)到Cluster 2。

• 通過(guò)Header將請(qǐng)求路由到灰度版本

  執(zhí)行以下命令，查看流量的路由情況。

  替換以下XX.XX.XX.XX為實(shí)現(xiàn)灰度發(fā)布驗(yàn)證中的應(yīng)用和Ingress部署完成后查詢到的IP。

  for i in {1..100}; do curl -H "host: example.com" -H "canary-dest: cluster1" xx.xx.xx.xx/svc1; sleep 1;  done  

  預(yù)期輸出：預(yù)期輸出表明，添加了header：canary-dest: cluster1的請(qǐng)求都被路由到了Cluster 1中的灰度版本。

同城主備容災(zāi)

在ACK One Fleet實(shí)例中創(chuàng)建以下Ingress對(duì)象，可以實(shí)現(xiàn)同城主備容災(zāi)。

當(dāng)兩個(gè)集群后端都正常時(shí)，流量?jī)H路由到Cluster 1的服務(wù)后端；如果其中一個(gè)Cluster 1后端異常，網(wǎng)關(guān)會(huì)自動(dòng)將流量路由到Cluster 2。拓?fù)淙缦滤荆?img id="4cb390e07et4c" src="https://help-static-aliyun-doc.aliyuncs.com/assets/img/zh-CN/1735810071/p736664.png" alt="image.png" placement="break" width="500" translate="yes" class="image break">

創(chuàng)建Ingress實(shí)現(xiàn)同城主備容災(zāi)

1. 使用以下內(nèi)容，創(chuàng)建ingress-demo-cluster-one.yaml文件。

   以下Ingress對(duì)象的YAML文件中，通過(guò)添加兩個(gè)Annotations mse.ingress.kubernetes.io/service-subset、mse.ingress.kubernetes.io/subset-labels以實(shí)現(xiàn)域名example.com下的/service1路由規(guī)則暴露后端服務(wù)service1。關(guān)于MSE Ingress支持的Annotations詳情，請(qǐng)參見(jiàn)MSE Ingress支持的Annotation。

   • mse.ingress.kubernetes.io/service-subset：服務(wù)的子版本名稱。建議定義為與目標(biāo)集群相關(guān)且可讀性強(qiáng)的值。

   • mse.ingress.kubernetes.io/subset-labels：指定目標(biāo)集群的ID。

     apiVersion: networking.k8s.io/v1
     kind: Ingress
     metadata:
       annotations:
         mse.ingress.kubernetes.io/service-subset: cluster-demo-1
         mse.ingress.kubernetes.io/subset-labels: |
           topology.istio.io/cluster ${cluster1-id}
       name: web-demo-cluster-one
     spec:
       ingressClassName: mse
       rules:
       - host: example.com
         http:
           paths:
           - path: /service1
             pathType: Exact
             backend:
               service:
                 name: service1
                 port: 
                   number: 80

2. 執(zhí)行以下命令，在ACK One Fleet實(shí)例中部署Ingress。

   kubectl apply -f ingress-demo-cluster-one.yaml -ngateway-demo

實(shí)現(xiàn)集群級(jí)別灰度發(fā)布

多集群網(wǎng)關(guān)支持創(chuàng)建基于Header的Ingress以實(shí)現(xiàn)將請(qǐng)求路由到指定集群，基于該能力與創(chuàng)建Ingress實(shí)現(xiàn)同城主備容災(zāi)中Ingress對(duì)象實(shí)現(xiàn)的全副本負(fù)載均衡的能力，可以實(shí)現(xiàn)基于Header的灰度發(fā)布。

1. 已創(chuàng)建Ingress實(shí)現(xiàn)同城主備容災(zāi)中的Ingress。

2. 在ACK One Fleet實(shí)例中創(chuàng)建包含Header相關(guān)Annotation的Ingress，實(shí)現(xiàn)集群級(jí)別的灰度發(fā)布。請(qǐng)求的Header與Ingress中的配置相匹配時(shí)，請(qǐng)求將被路由到灰度版本的后端。

   1. 使用以下內(nèi)容，創(chuàng)建ingress-demo-cluster-gray.yaml文件。

      以下Ingress對(duì)象的YAML文件中，替換YAML中的${cluster1-id}為目標(biāo)集群ID。除了mse.ingress.kubernetes.io/service-subset和mse.ingress.kubernetes.io/subset-labels兩個(gè)Annotation之外，您還需要添加以下Annotation以實(shí)現(xiàn)域名example.com下的/service1路由規(guī)則暴露后端服務(wù)service1

      • nginx.ingress.kubernetes.io/canary：設(shè)置為"true"，表示開(kāi)啟灰度發(fā)布能力。

      • nginx.ingress.kubernetes.io/canary-by-header：表示請(qǐng)求到該集群的header key。

      • nginx.ingress.kubernetes.io/canary-by-header-value：表示請(qǐng)求到該集群的header value。

      apiVersion: networking.k8s.io/v1
      kind: Ingress
      metadata:
        annotations:
          mse.ingress.kubernetes.io/service-subset: cluster-demo-2
          mse.ingress.kubernetes.io/subset-labels: |
            topology.istio.io/cluster ${cluster2-id}
          nginx.ingress.kubernetes.io/canary: "true"
          nginx.ingress.kubernetes.io/canary-by-header: "app-web-demo-version"
          nginx.ingress.kubernetes.io/canary-by-header-value: "gray"
        name: web-demo-cluster-gray
        name: web-demo
      spec:
        ingressClassName: mse
        rules:
        - host: example.com
          http:
            paths:
            - path: /service1
              pathType: Exact
              backend:
                service:
                  name: service1
                  port: 
                    number: 80

   2. 執(zhí)行以下命令，在ACK One Fleet實(shí)例中部署Ingress。

      kubectl apply -f ingress-demo-cluster-gray.yaml -n gateway-demo

驗(yàn)證同城主備容災(zāi)實(shí)現(xiàn)效果

為便于驗(yàn)證，修改部署到Cluster 1和Cluster 2的副本數(shù)都為1，期望默認(rèn)流量只被路由到Cluster 1，加灰度Header的流量被路由到Cluster 2，當(dāng)Cluster 1應(yīng)用異常后，默認(rèn)流量也被路由到Cluster 2。

執(zhí)行以下命令，獲取多集群網(wǎng)關(guān)的對(duì)外IP。

kubectl get ingress web-demo -n gateway-demo -ojsonpath="{.status.loadBalancer}"

• 默認(rèn)流量路由到Cluster 1

  執(zhí)行以下命令，查看默認(rèn)流量是否被路由到Cluster 1。

  替換以下XX.XX.XX.XX為上一步獲取的多集群網(wǎng)關(guān)的對(duì)外IP。

  for i in {1..100}; do curl -H "host: example.com" xx.xx.xx.xx/service1; sleep 1;  done

  預(yù)期輸出：預(yù)期輸出表明，默認(rèn)流量全都被路由到Cluster 1了。

• 通過(guò)header將請(qǐng)求路由到灰度版本

  執(zhí)行以下命令，查看Header的請(qǐng)求是否被路由到灰度版本。

  替換以下XX.XX.XX.XX為上一步獲取的多集群網(wǎng)關(guān)的對(duì)外IP。

  for i in {1..50}; do curl -H "host: example.com" -H "app-web-demo-version: gray" xx.xx.xx.xx/service1; sleep 1;  done

  預(yù)期輸出：預(yù)期輸出表明，添加了Header：app-web-demo-version: gray的請(qǐng)求都被路由到了Cluster 2（灰度版本）。

• Cluster 1異常后流量被容災(zāi)到Cluster 2

  如果將Cluster 1的Deployment的replica縮為0時(shí)，得到的輸出結(jié)果如下，表明流量已被自動(dòng)容災(zāi)到Cluster 2。