數據緩存可以提前拉取業務所需數據,以便在創建ECI實例時可以直接掛載使用。本文介紹數據緩存的配置參數以及如何創建、查詢、更新、拷貝和刪除數據緩存。
創建數據緩存
創建方式如下:
OpenAPI:調用CreateDataCache接口可以創建數據緩存。更多信息,請參見CreateDataCache。
控制臺:在彈性容器實例控制臺的數據緩存頁面,單擊創建數據緩存。按照需求配置數據緩存相關參數,單擊確定。
配置說明
創建數據緩存需要配置的參數如下:
基本屬性
API
控制臺
說明
RegionId
地域
數據緩存所屬地域。
Bucket
緩存所屬Bucket
數據的存儲空間。默認為default。支持自定義,以便進行業務分組和避免路徑沖突。
eci-system為ECI保留空間,不可使用。
Path
緩存所屬目錄
數據存儲的路徑。
Name
緩存名
數據緩存名稱。
Size
緩存大小
數據緩存大小。單位為GiB,默認為20 GiB。請根據實際數據量評估所需大小。
RetentionDays
保留天數
數據緩存保留天數。過期會被清理。默認不過期。
數據源
API
控制臺
說明
DataSource.Type
類型
數據源類型。
DataSource.Options
參數
數據源配置參數。格式為JSON對象,不同類型數據源要傳入的參數不同。
各類型數據源及其配置參數說明如下:
重要如果通過OpenAPI門戶創建數據緩存,DataSource.Options中各個參數前需要添加參數名的長度,例如
url
需要寫成#3#url
,repoId
需要寫成#6#repoId
,repoSource需要寫成#10#repoSource
。如果通過SDK創建數據緩存,無需添加。數據源類型
數據來源說明
配置參數
URL
鏈接地址
url:數據下載地址。
accessToken:拉取私有數據時,需配置該參數來驗證身份以訪問數據。
HuggingFace或ModelScope
repoSource:取值范圍為ModelScope/Model、ModelScope/DataSet、HuggingFace/Model、HuggingFace/DataSet,表示從ModelScope或HuggingFace社區拉取模型或者數據集。
repoId:模型ID或數據集ID。
revision:版本。默認為main或者master。
accessToken:拉取私有數據時,需配置該參數來驗證身份以訪問數據。
NAS
NAS文件系統
server:NAS文件系統的掛載點。
path:掛載子目錄。極速型NAS需要以
/share
為前綴,例如/share/path
。vers:掛載NAS的NFS協議版本號。推薦使用v3,極速型NAS僅支持v3。
options:掛載選項。建議使用NAS服務推薦選項,例如
nolock,tcp,noresvport
。
OSS
OSS存儲空間
bucket:OSS Bucket的名稱。
url:OSS的接入域名(Endpoint)。
path:掛載子目錄。相對Bucket根目錄的目錄,默認為
/
。otherOpts:掛載OSS時支持輸入定制化參數,格式為
-o *** -o ***
,例如-o max_stat_cache_size=0 -o allow_other
。ramRole:使用RAM角色授權時,對應的RAM角色。
akId:使用AccessKey直接授權時,對應的AccessKey ID。
akSecret:使用AccessKey直接授權時,對應的AccessKey Secret。
SNAPSHOT
快照
snapshotId:快照ID。
網絡參數
如果需要通過公網拉取數據,在指定的交換機沒有配置SNAT時,支持綁定EIP來拉取公網數據。
API
控制臺
說明
EipInstanceId
使用已有
綁定已有的EIP。
EipCreateParam包含的參數
自動創建
自動創建并綁定EIP。
其他參數
除上述參數外,創建數據緩存時還需指定專有網絡、交換機、安全組等參數,用于在創建數據緩存的過程中創建臨時資源。
配置示例
以OpenAPI為例,創建各類型數據緩存的參數配置示例如下:
URL
從鏈接地址拉取數據
{ "RegionId": "cn-beijing", "SecurityGroupId": "sg-2ze63v3jtm8e6syi****", "VSwitchId": "vsw-2ze94pjtfuj9vaymf****", "Bucket": "test", "Path": "/demo/url", "Name": "test-url-1", "DataSource": { "Type": "URL", "Options": { "#10#url": "https://www.example.com" } }, "RetentionDays": 1 }
從HuggingFace拉取模型
{ "RegionId": "cn-beijing", "SecurityGroupId": "sg-2ze63v3jtm8e6syi****", "VSwitchId": "vsw-2ze94pjtfuj9vaymf****", "Bucket": "test", "Path": "/demo/url", "Name": "test-url-2", "DataSource": { "Type": "URL", "Options": { "#10#repoSource": "HuggingFace/Model", "#6#repoId": "stabilityai/stable-diffusion-2-1" } }, "RetentionDays": 1 }
NAS
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/nas",
"Name": "test-nas",
"DataSource": {
"Type": "NAS",
"Options": {
"#6#server": "126c24****-tw***.cn-beijing.nas.aliyuncs.com",
"#4#path": "/",
"#4#vers": "3",
"#7#options": "nolock,tcp,noresvport"
}
},
"RetentionDays": 1
}
OSS
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/oss",
"Name": "test-oss",
"DataSource": {
"Type": "OSS",
"Options": {
"#6#bucket": "test-***",
"#3#url": "oss-cn-beijing-internal.aliyuncs.com",
"#4#path": "/test",
"#9#otherOpts": "-o max_stat_cache_size=0 -o allow_other",
"#7#ramRole": "<your RAM Role Name>"
}
},
"RetentionDays": 1,
"SourceIp": "2401:b180:1000:3:a4ba:83d6:a4ba:83d6"
}
SNAPSHOT
{
"RegionId": "cn-beijing",
"SecurityGroupId": "sg-2ze63v3jtm8e6syi****",
"VSwitchId": "vsw-2ze94pjtfuj9vaymf****",
"Bucket": "test",
"Path": "/demo/snapshot",
"Name": "test-snapshot",
"DataSource": {
"Type": "SNAPSHOT",
"Options": {
"#10#snapshotId": "s-2zehb6jegdehec19****"
}
},
"RetentionDays": 1,
"Size": 40
}
管理數據緩存
查詢
創建數據緩存后,您可以查詢數據緩存信息,包括狀態、所屬Bucket、在Bucket中的存儲路徑等。當數據緩存狀態為Available時,表示可以使用該數據緩存。
查詢方式如下:
OpenAPI:調用DescribeDataCaches接口可以查詢數據緩存信息。
控制臺:在數據緩存頁面可以查看當前地域下所有數據緩存列表。單擊某一數據緩存ID后,可以查看該數據緩存的詳細信息。
更新
對于狀態為Available或者UpdateFailed的數據緩存,支持更新所屬Bucket、數據源、保留時長、大小等。
更新方式如下:
OpenAPI:調用UpdateDataCache接口可以更新數據緩存。
控制臺:暫不支持。
拷貝
數據緩存不支持跨地域使用。使用數據緩存時,如果待創建的ECI實例和數據緩存不屬于同一地域,您可以將數據緩存從原有地域拷貝到新的地域。
拉取外網數據時,如果您的業務部署在中國內地地域,建議您在中國香港地域創建數據緩存,然后拷貝數據緩存到您需要的地域。
拷貝方式如下:
OpenAPI:調用CopyDataCache接口可以拷貝數據緩存。
控制臺:在數據緩存頁面,單擊目標數據緩存對應的復制。
刪除
數據緩存對應一份快照,保留數據緩存需要支付相應的快照存儲費用。對于不再使用的數據緩存,如果在創建時未設置保留時長,建議您及時手動刪除。
刪除方式如下:
OpenAPI:調用DeleteDataCache接口可以刪除數據緩存。
控制臺:在數據緩存頁面,單擊目標數據緩存對應的刪除。