數據集是一種由數據所組成的集合,這些數據通常具有相似的特征或支撐目標。通過AI運維控制臺管理數據集,您可以更新和刪除從不同數據源添加的數據。
前提條件
已安裝配置AI運維控制臺組件。具體操作,請參見安裝云原生AI套件。
已獲取AI運維控制臺管理員賬號和密碼。
基于已有PVC創建
登錄AI運維控制臺。具體操作,請參見訪問AI運維控制臺。
在AI運維控制臺左側導航欄中,選擇
。單擊目標加速數據集名稱右側操作列下的一鍵加速。
說明如果沒有創建其他數據類型,數據集列表頁面會默認展示當前集群的所有PVC。
在編輯數據集對話框中:
輸入加速數據集名稱,選擇所屬Namespace。
數據源類型選中PVC,選擇數據源,輸入子目錄名。
配置runtime配置,runtime的
name
需與數據集的相同才能綁定成功。runtime配置的模板樣例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: fluid-imagenet spec: replicas: 4 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: "0.99" low: "0.8"
單擊執行,數據的狀態剛開始為NotReady,大約幾秒后會變為Ready。
基于OSS創建
步驟一:創建Secret
由于OSS的部分配置是敏感數據,需要通過加密方式傳遞。您需要提前創建Secret,具體YAML模板如下:
apiVersion: v1
kind: Secret
metadata:
name: imagenet-oss-xxx
namespace: default
type: kubernetes.io/basic-auth
stringData:
username: <ACCESS_ID>
password: <ACCESS_KEY>
執行以下命令創建Secret。
kubectl create -f oss_access_secret.yaml
步驟二:基于OSS創建加速數據集
登錄AI運維控制臺。具體操作,請參見訪問AI運維控制臺。
在AI運維控制臺左側導航欄中,選擇
。單擊添加。
在創建數據集對話框中:
輸入數據集名稱,選擇所屬Namespace。
數據源類型選中OSS,相關參數的輸入說明請參見下表。
參數
示例
說明
名稱
oss-imagenet
可以自定義。
Namespace
default
使用創建Secret操作中創建的
namespace
,請參見步驟一:創建Secret。數據源
oss://my-dawnbench-v2/
無。
子目錄名
mydawnbench-v2
可以自定義。
endpoint
oss-xxx.aliyuncs.com
無。
accessKeyId
secret:imagenet-oss-xxx
secretKey:username
secret使用創建Secret操作中創建的
name
,請參見步驟一:創建Secret。secretkey使用創建Secret操作中創建的
username
,請參見步驟一:創建Secret。
accessKeySecret
secret:imagenet-oss-xxx
secretKey:password
secret使用創建Secret操作中創建的
name
,請參見步驟一:創建Secret。secretkey使用創建Secret操作中創建的
password
,請參見步驟一:創建Secret。
為了控制數據集創建在待訪問的節點上,執行以下命令添加節點親和性。
aliyun.accelerator/nvidia_name in Tesla-V100-SXM2-16GB;Tesla-V100-SXM2-32GB
設置runtime配置,runtime的name需與創建數據集名稱保持一致。
runtime配置的模板樣例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: oss-imagenet spec: replicas: 2 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: '0.99' low: '0.8'
單擊保存后,數據的狀態剛開始為NotReady,過幾秒后狀態會變為Ready。
基于外部存儲創建
登錄AI運維控制臺。具體操作,請參見訪問AI運維控制臺。
在AI運維控制臺左側導航欄中,選擇
。單擊創建。
在創建數據集對話框中:
輸入數據集名稱,選擇所屬Namespace。
數據源類型選中其他,輸入數據源和子目錄名。
配置runtime配置,runtime的name需與創建數據集名稱保持一致。
runtime配置的模板樣例如下:
apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: fluid-imagenet spec: replicas: 4 data: replicas: 1 tieredstore: levels: - mediumtype: SSD path: /var/lib/docker/alluxio quota: 150Gi high: "0.99" low: "0.8"
單擊執行后,數據的狀態剛開始為NotReady,等待幾秒后狀態會變為Ready。
刪除數據集
暫不支持在用戶界面刪除未加速的數據集,請聯系主賬號(即阿里云賬號)管理員在阿里云控制臺刪除。
用管理員賬號登錄AI-Dashboard控制臺。
單擊待刪除數據集名稱右側操作列下的刪除。