索引

• 前提條件

• 分布式緩存關鍵性能指標

• 步驟一：使用分布式緩存掛載NAS文件系統

• 步驟二：測試緩存是否生效

分布式緩存關鍵性能指標

步驟一：使用分布式緩存掛載NAS文件系統

1. 執行以下命令，在集群中創建并部署csi-plugin的ConfigMap，安裝加速插件。

   cat <<EOF | kubectl apply -f -
   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: csi-plugin
     namespace: kube-system
   data:
     cnfs-client-properties: |
       nas-efc=true
     nas-efc-cache: |
       enable=true
       container-number=3
       volume-type=memory
       volume-size=15Gi
     node-selector: |
       cache=true
   EOF

   參數	說明
   cnfs-client-properties	分布式緩存的緩存開關。當配置cnfs-cache-properties. enable=true時，表示開啟分布式緩存。
   nfs-efc-cache. container-number	當開啟分布式緩存時需要配置。 緩存的DaemonSet的容器數量，當緩存出現性能瓶頸時，可以增加容器數量。
   nfs-efc-cache. volume-type	當開啟分布式緩存時需要配置。 緩存容器EmptyDir使用的介質。 Disk：磁盤。 Memory：內存。
   nfs-efc-cache. volume-size	當開啟分布式緩存時需要配置。表示緩存數據卷Volume的總大小，單位：GiB。
   cnfs-client-properties	安裝分布式緩存的相關依賴時，需要配置cnfs-client-properties. enable=true。
   node-selector	緩存的DaemonSet通過Label進行調度，如果不配置，則所有節點都會部署緩存。

   重要

   • 使用磁盤和內存時，會使用節點的數據盤和內存資源，請確保不影響業務運行。

   • 本示例部署了分布式緩存的DaemonSet，緩存中有3個容器，在緩存Pod容器內每個容器掛載5 GiB的tmpfs卷，并且只調度到帶有cache=true標簽的節點上。

   ConfigMap配置完成后，會根據已配置的ConfigMap自動部署緩存的DaemonSet以及Service。

2. 執行以下命令，重啟CSI-Plugin組件，安裝相關依賴。

   kubectl get pod -nkube-system -owide | grep csi-plugin | awk '{print $1}' | xargs kubectl -nkube-system delete pod

3. 執行以下命令，為CNFS的文件存儲開啟分布式緩存。

   創建一個CNFS托管NAS文件系統，StatefulSet通過使用動態存儲卷的方式掛載分布式緩存，使用busybox鏡像，Pod啟動時會通過dd命令將1 G大小的文件寫入/data下面，1 G文件后續用于測試緩存是否生效。

   展開查看開啟分布式緩存使用的YAML文件

   cat << EOF | kubectl apply -f -
   apiVersion: storage.alibabacloud.com/v1beta1
   kind: ContainerNetworkFileSystem
   metadata:
     name: cnfs-nas-filesystem
   spec:
     description: "cnfs"
     type: nas
     reclaimPolicy: Retain
     parameters:
       filesystemType: standard
       storageType: Capacity
       protocolType: NFS
       encryptType: None
       enableTrashCan: "true"
       trashCanReservedDays: "5"
       useClient: "EFCClient" # 通過EFC客戶端使用分布式緩存進行掛載。
   ---
   apiVersion: storage.k8s.io/v1
   kind: StorageClass
   metadata:
     name: alibabacloud-cnfs-nas-sc
   mountOptions:
     - g_tier_EnableClusterCache=true              # 掛載時，分布式緩存使用緩存配置。
     - g_tier_EnableClusterCachePrefetch=true      # 掛載時，分布式緩存開啟預讀功能。
   parameters:
     volumeAs: subpath
     containerNetworkFileSystem: cnfs-nas-filesystem
     path: "/"
   provisioner: nasplugin.csi.alibabacloud.com
   reclaimPolicy: Retain
   allowVolumeExpansion: true
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: cnfs-nas-sts
     labels:
       app: busybox
   spec:
     serviceName: "busybox"
     replicas: 1
     selector:
       matchLabels:
         app: busybox
     template:
       metadata:
         labels:
           app: busybox
       spec:
         containers:
         - name: busybox
           image: busybox
           command: ["/bin/sh"]
           args: ["-c", "dd if=/dev/zero of=/data/1G.tmpfile bs=1G count=1;sleep 3600;"]
           volumeMounts:
           - mountPath: "/data"
             name: www
     volumeClaimTemplates:
     - metadata:
         name: www
       spec:
         accessModes: [ "ReadWriteOnce" ]
         storageClassName: "alibabacloud-cnfs-nas-sc"
         resources:
           requests:
             storage: 50Gi
   EOF

4. 執行以下命令，確認分布式緩存是否掛載成功。

   kubectl exec cnfs-nas-sts-0   -- mount | grep /data

   預期輸出：

   xxx.cn-xxx.nas.aliyuncs.com:/nas-6b9d1397-6542-4410-816b-4dfd0633****:2fMaQdxU on /data type alifuse.aliyun-alinas-eac (rw,nosuid,nodev,relatime,user_id=0,group_id=0,default_permissions,allow_other)

   輸出顯示有掛載點，說明分布式緩存已掛載成功。

5. 執行以下命令，確認分布式緩存的DaemonSet是否啟動。

   kubectl get ds/cnfs-cache-ds -n kube-system -owide

   預期輸出：

   NAME             DESIRED   CURRENT   READY   UP-TO-DATE   AVAILABLE   NODE SELECTOR   AGE   CONTAINERS              IMAGES                                                         SELECTOR
   cnfs-cache-ds   3         3         3       3            3           <none>          19d   alinas-dadi-container   registry-vpc.cn-shenzhen.aliyuncs.com/acs/nas-cache:20220420   app=cnfs-cache-ds

   本示例的集群有3個節點，DaemonSet的3個Pod均處于可用狀態，說明分布式緩存的DaemonSet已經啟動完成。

6. 執行以下命令，確認分布式緩存的Service是否實現服務發現。

   kubectl get ep cnfs-cache-ds-service  -n kube-system -owide

   預期輸出：

   NAME                     ENDPOINTS                                          AGE
   cnfs-cache-ds-service   10.19.1.130:6500,10.19.1.40:6500,10.19.1.66:6500   19d

   Service已經發現后端緩存Pod對應的EndPoints為10.19.1.130、10.19.1.40、10.19.1.66，端口為6500。

步驟二：測試緩存是否生效

1. 執行以下命令，將寫入到/data中的1 G的tmpfile文件復制到/下，查看耗時情況。

   kubectl exec cnfs-nas-sts-0 -- time cp /data/1G.tmpfile /

   預期輸出：

   real    0m 5.66s
   user    0m 0.00s
   sys     0m 0.75s

   可以看到：未開啟分布式緩存時，拷貝時間不變，保持約5s左右。

2. 重復執行以下命令，查看耗時。

   kubectl exec cnfs-nas-sts-0 -- time cp /data/1G.tmpfile /

   預期輸出：

   real    0m 0.79s
   user    0m 0.00s
   sys     0m 0.58s

   可以看到：對多次訪問的文件，拷貝讀加速提升了6~7倍。