Fluid支持在Serverless場景下,通過JindoRuntime優化對象存儲的訪問,該訪問支持緩存模式和無緩存模式。本文介紹如何使用無緩存模式加速在線應用數據訪問。
前提條件
已創建一個非ContainerOS操作系統的ACK Pro版集群,且集群版本為1.18及以上。具體操作,請參見創建ACK Pro版集群。
重要ack-fluid組件暫不支持在ContainerOS操作系統上使用。
已安裝云原生AI套件并部署ack-fluid組件。
重要若您已安裝開源Fluid,請卸載后再部署ack-fluid組件。
已部署ACK虛擬節點(Virtual Node)。具體操作,請參見通過部署ACK虛擬節點組件創建ECI Pod。
已通過kubectl連接Kubernetes集群。具體操作,請參見通過kubectl工具連接集群。
使用限制
本功能與ACK彈性調度功能沖突,暫不支持同時使用。關于彈性調度功能的更多信息,請參見自定義彈性資源優先級調度。
步驟一:上傳測試數據到OSS Bucket
步驟二:創建Dataset和JindoRuntime
K8s和OSS環境配置完成后,您只需要耗費幾分鐘即可完成Dataset和JindoRuntime環境的部署。
使用以下內容,創建secret.yaml文件。
創建Dataset之前,您可以創建如下YAML文件,保存OSS的
fs.oss.accessKeyId
和fs.oss.accessKeySecret
。apiVersion: v1 kind: Secret metadata: name: access-key stringData: fs.oss.accessKeyId: **** fs.oss.accessKeySecret: ****
執行以下命令,部署Secret。
kubectl create -f secret.yaml
使用以下內容,創建resource.yaml文件。
YAML文件中包含以下兩部分信息:
Dataset
:定義遠端存儲數據集和UFS的信息。JindoRuntime
:啟動一個JindoFS的集群,提供緩存服務。
apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: serverless-data spec: mounts: - mountPoint: oss://large-model-sh/ name: demo path: / options: fs.oss.endpoint: oss-cn-shanghai.aliyuncs.com encryptOptions: - name: fs.oss.accessKeyId valueFrom: secretKeyRef: name: access-key key: fs.oss.accessKeyId - name: fs.oss.accessKeySecret valueFrom: secretKeyRef: name: access-key key: fs.oss.accessKeySecret accessModes: - ReadWriteMany --- apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: serverless-data spec: master: disabled: true worker: disabled: true
部分參數說明如下:
參數
說明
mountPoint
表示掛載UFS的路徑,路徑格式為
oss://<oss_bucket>/<bucket_dir>
。路徑中不需要包含Endpoint信息。如果您直接訪問Bucket,可以不配置
<bucket_dir>
。fs.oss.endpoint
表示OSS Bucket的Endpoint信息,配置您的公網或私網地址。
配置私網地址可以提高數據訪問性能,但是需要您的K8s集群所在區域和OSS區域相同。例如您的Bucket在杭州Region,則公網地址為
oss-cn-hangzhou.aliyuncs.com
,私網地址為oss-cn-hangzhou-internal.aliyuncs.com
。fs.oss.accessKeyId
表示OSS Bucket的AK ID信息,有權限訪問Bucket。
fs.oss.accessKeySecret
表示OSS Bucket的AK ID密鑰信息,有權限訪問Bucket。
accessModes
表示支持的讀寫模式。讀寫模式包括
ReadWriteOnce
、ReadOnlyMany
、ReadWriteMany
和ReadWriteOncePod
,默認為ReadOnlyMany
。disabled
Master和Worker都配置為
true
,表示開啟無緩存模式。執行以下命令,部署JindoRuntime和Dataset。
kubectl create -f resource.yaml
執行以下命令,查看Dataset的部署情況。
kubectl get dataset serverless-data
預期輸出:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE serverless-data Bound 1d
由預期輸出得到,
PHASE
為Bound
,表示Dataset部署成功。執行以下命令,查看JindoRuntime的部署情況。
kubectl get jindo serverless-data
預期輸出:
NAME MASTER PHASE WORKER PHASE FUSE PHASE AGE serverless-data Ready 3m41s
由預期輸出得到,
FUSE
為Ready
,表示JindoRuntime部署成功。
步驟三:創建Serverless應用容器訪問OSS
您可以通過創建應用容器來使用JindoFS加速服務,或者提交機器學習作業來體驗相關功能。本文以創建一個Serverless應用容器訪問OSS數據服務為例進行說明。
使用以下內容,創建serving.yaml文件。
apiVersion: apps/v1 kind: Deployment metadata: name: model-serving spec: selector: matchLabels: app: model-serving template: metadata: labels: app: model-serving alibabacloud.com/fluid-sidecar-target: eci alibabacloud.com/eci: "true" annotations: k8s.aliyun.com/eci-use-specs: ecs.g7.4xlarge spec: containers: - image: fluidcloudnative/serving name: serving ports: - name: http1 containerPort: 8080 env: - name: TARGET value: "World" volumeMounts: - mountPath: /data name: data volumes: - name: data persistentVolumeClaim: claimName: serverless-data
執行以下命令,創建應用容器。
kubectl create -f serving.yaml
查看Serving文件大小。
執行以下命令,登錄Pod的應用容器。
kubectl exec -it model-serving-85b645b5d5-2trnf -c serving -- bash
在Pod中執行以下命令,查看Serving文件大小。
bash-4.4# du -sh /data/wwm_uncased_L-24_H-1024_A-16.zip
預期輸出:
1.2G /data/wwm_uncased_L-24_H-1024_A-16.zip
執行以下命令,查看啟動日志。
kubectl logs model-serving-85b9587c5b-w5528 -c serving
預期輸出:
Begin loading models at 18:23:59 real 0m27.107s user 0m0.000s sys 0m0.742s Finish loading models at 18:24:26
由預期輸出得到,文件的拷貝時間
real
為0m27.107s
。拷貝時間取決于網絡延時和帶寬,如果您希望加速數據訪問,請參見使用緩存模式加速在線應用數據訪問。
步驟四:清理環境
當您不再使用數據訪問功能時,請及時清理環境。
執行以下命令,刪除應用容器。
kubectl delete deployment model-serving
執行以下命令,刪除Dataset。
kubectl delete dataset serverless-data
相關文檔
更多關于使用無緩存模式加速數據訪問,請參見加速Job應用數據訪問、加速Argo任務數據訪問。
使用ACK無緩存模式加速數據訪問,請參見ACK緩存模式加速數據訪問。
使用ACK Serverless緩存模式加速數據訪問,請參見ACK Serverless緩存模式。