使用公共資源組
開通EAS后,系統(tǒng)會默認(rèn)為您創(chuàng)建公共資源組,您可以直接使用公共資源組來部署模型服務(wù)。本文為您介紹公共資源組的概要信息。
適用場景
公共資源組建議在任務(wù)量相對較少、對任務(wù)時(shí)效性要求不高的場景下使用。
計(jì)費(fèi)說明
開始計(jì)費(fèi)
公共資源組支持使用機(jī)器資源或機(jī)器型號來部署模型服務(wù),服務(wù)一旦部署并處于運(yùn)行中時(shí),系統(tǒng)就開始計(jì)費(fèi),詳情請參見EAS計(jì)費(fèi)說明。
建議及時(shí)停止無用的模型服務(wù),以免產(chǎn)生不必要的費(fèi)用。
使用EAS客戶端命令創(chuàng)建服務(wù)時(shí),支持配置系統(tǒng)盤容量,詳情請參見服務(wù)模型所有相關(guān)參數(shù)說明。PAI為公共資源組每個(gè)實(shí)例機(jī)器節(jié)點(diǎn)免費(fèi)提供30 GB的系統(tǒng)盤容量,超出容量按量計(jì)費(fèi),系統(tǒng)盤創(chuàng)建成功后開始計(jì)費(fèi),計(jì)費(fèi)詳情請參見EAS計(jì)費(fèi)說明。
停止計(jì)費(fèi)
在PAI EAS 模型在線服務(wù)頁面的服務(wù)列表頁簽,單擊目標(biāo)服務(wù)操作列下的停止,即可停止模型服務(wù)和計(jì)費(fèi),詳情請參見服務(wù)部署:控制臺&Designer。
如果部署服務(wù)時(shí)額外購買了系統(tǒng)盤,只有刪除服務(wù),才能停止計(jì)費(fèi)。
請確保被停止的服務(wù)不需要再使用,以免造成不必要的業(yè)務(wù)損失。
使用指導(dǎo)
公共資源組不需要單獨(dú)購買,開通EAS后即可使用。
如果您的客戶端需要通過VPC高速直連訪問來降低網(wǎng)絡(luò)時(shí)延,或者EAS服務(wù)需要訪問您在同一VPC下的其他云產(chǎn)品等,您可以通過配置網(wǎng)絡(luò)連通來實(shí)現(xiàn)上述能力,詳情請參見配置網(wǎng)絡(luò)連通。
您也可以為公共資源組配置日志服務(wù),部署到公共資源組的EAS服務(wù)產(chǎn)生的日志會存儲到日志服務(wù)中,方便對EAS服務(wù)進(jìn)行實(shí)時(shí)監(jiān)控,詳情請參見配置資源組日志服務(wù)。
使用以下任意一種方式將服務(wù)部署至公共資源組。
控制臺方式
在模型在線服務(wù)(EAS)頁面部署模型服務(wù),其中資源組種類選擇公共資源組,詳情請參見服務(wù)部署:控制臺。
EASCMD方式
通過EASCMD客戶端部署模型服務(wù),詳情請參見服務(wù)部署:EASCMD或DSW。
支持使用指定機(jī)器資源或指定機(jī)器型號來部署服務(wù)。
使用機(jī)器資源來部署服務(wù)的配置方式如下。
{ "metadata": { "instance": 2, "cpu": 1, "memory": 2000 }, "cloud": { "computing": {} }, "name": "test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_cpu_1.12" }
使用機(jī)型來部署服務(wù)的配置方式如下,需在服務(wù)配置文件中增加cloud.computing.instance_type字段,用以指定實(shí)例的機(jī)型。
{ "name": "tf_serving_test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_gpu_1.12", "cloud":{ "computing":{ "instance_type":"ecs.gn6i-c24g1.6xlarge" } }, "metadata": { "instance": 1, "cuda": "9.0", "memory": 7000, "gpu": 1, "cpu": 4 } }
其中instance_type支持配置的機(jī)型如下。
實(shí)例規(guī)格
實(shí)例名稱
ecs.c5.6xlarge
c5(24vcpu+48GB)
ecs.c6.2xlarge
c6(8vcpu+16GB)
ecs.c6.4xlarge
c6(16vcpu+32GB)
ecs.c6.6xlarge
c6(24vcpu+48GB)
ecs.c6.8xlarge
c6(32vcpu+64GB)
ecs.g5.6xlarge
g5(24vcpu+96GB)
ecs.g6.2xlarge
g6(8vcpu+32GB)
ecs.g6.4xlarge
g6(16vcpu+64GB)
ecs.g6.6xlarge
g6(24vcpu+96GB)
ecs.g6.8xlarge
g6(32vcpu+128GB)
ecs.gn5-c28g1.7xlarge
28vcpu+112GB+1*P100
ecs.gn5-c4g1.xlarge
4vcpu+30GB+1*P100
ecs.gn5-c8g1.2xlarge
8vcpu+60GB+1*P100
ecs.gn5-c8g1.4xlarge
16vcpu+120GB+2*P100
ecs.gn5i-c4g1.xlarge
4vcpu+16GB+1*P4
ecs.gn5i-c8g1.2xlarge
8vcpu+32GB+1*P4
ecs.gn6i-c16g1.4xlarge
16vcpu+62GB+1*T4
ecs.gn6i-c24g1.12xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c24g1.6xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c4g1.xlarge
4vcpu+15GB+1*T4
ecs.gn6i-c8g1.2xlarge
8vcpu+31GB+1*T4
ecs.gn6v-c8g1.2xlarge
8vcpu+32GB+1*V100
ecs.r6.2xlarge
r6(8vcpu+64GB)
ecs.r6.4xlarge
r6(16vcpu+128GB)
ecs.r6.6xlarge
r6(24vcpu+192GB)
ecs.r6.8xlarge
r6(32vcpu+256GB)
ecs.g7.2xlarge
g7(8vcpu+32GB)
ecs.g7.4xlarge
g7(16vcpu+64GB)
ecs.g7.6xlarge
g7(24vcpu+96GB)
ecs.g7.8xlarge
g7(32vcpu+128GB)
ecs.c7.2xlarge
c7(8vcpu+16GB)
ecs.c7.4xlarge
c7(16vcpu+32GB)
ecs.c7.6xlarge
c7(24vcpu+48GB)
ecs.c7.8xlarge
c7(32vcpu+64GB)
ecs.r7.2xlarge
r7(8vcpu+64GB)
ecs.r7.4xlarge
r7(16vcpu+128GB)
ecs.r7.6xlarge
r7(24vcpu+192GB)
ecs.r7.8xlarge
r7(32vcpu+256GB)
ecs.g7.16xlarge
g7(64vcpu+256GB)
ecs.c7.16xlarge
c7(64vcpu+128GB)
ecs.r7.16xlarge
r7(64vcpu+512GB)
ecs.gn7i-c8g1.2xlarge
8vcpu+30GB+1*A10
ecs.gn7i-c16g1.4xlarge
16vcpu+60GB+1*A10
ecs.gn7i-c32g1.8xlarge
32vcpu+188GB+1*A10
ecs.gn6e-c12g1.3xlarge
12vcpu+92GB+1*V100
ecs.g6.xlarge
g6(4vcpu+16GB)
ecs.c6.xlarge
c6(4vcpu+8GB)
ecs.r6.xlarge
r6(4vcpu+32GB)
ecs.g6.large
g6(2vcpu+8GB)
ecs.c6.large
c6(2vcpu+4GB)
ecs.r6.large
r6(2vcpu+16GB)
ecs.c7a.large
AMD(2vcpu+4GB)
ecs.c7a.xlarge
AMD(4vcpu+8GB)
ecs.c7a.2xlarge
AMD(8vcpu+16GB)
ecs.c7a.4xlarge
AMD(16vcpu+32GB)
ecs.c7a.8xlarge
AMD(32vcpu+64GB)
ecs.c7a.16xlarge
AMD(64vcpu+128GB)
ecs.g7a.large
AMD(2vcpu+8GB)
ecs.g7a.xlarge
AMD(4vcpu+16GB)
ecs.g7a.2xlarge
AMD(8vcpu+32GB)
ecs.g7a.4xlarge
AMD(16vcpu+64GB)
ecs.g7a.8xlarge
AMD(32vcpu+128GB)
ecs.g7a.16xlarge
AMD(64vcpu+256GB)
相關(guān)文檔
公共資源組支持共享使用,使用高峰期無法保證穩(wěn)定的資源分配。您可以創(chuàng)建專屬資源組,使用專屬資源組來部署服務(wù)。具體操作,請參見使用專屬資源組。
為部署在公共資源組中的服務(wù)配置VPC高速直連。具體操作,請參見配置網(wǎng)絡(luò)連通。