開通EAS后,系統會默認為您創建公共資源組,您可以直接使用公共資源組來部署模型服務。本文為您介紹公共資源組的概要信息。
適用場景
公共資源組建議在任務量相對較少、對任務時效性要求不高的場景下使用。
計費說明
開始計費
公共資源組支持使用機器資源或機器型號來部署模型服務,服務一旦部署并處于運行中時,系統就開始計費,詳情請參見EAS計費說明。
建議及時停止無用的模型服務,以免產生不必要的費用。
使用EAS客戶端命令創建服務時,支持配置系統盤容量,詳情請參見服務模型所有相關參數說明。PAI為公共資源組每個實例機器節點免費提供30 GB的系統盤容量,超出容量按量計費,系統盤創建成功后開始計費,計費詳情請參見EAS計費說明。
停止計費
在PAI EAS 模型在線服務頁面的服務列表頁簽,單擊目標服務操作列下的停止,即可停止模型服務和計費,詳情請參見服務部署:控制臺&Designer。
如果部署服務時額外購買了系統盤,只有刪除服務,才能停止計費。
請確保被停止的服務不需要再使用,以免造成不必要的業務損失。
使用指導
公共資源組不需要單獨購買,開通EAS后即可使用。
如果您的客戶端需要通過VPC高速直連訪問來降低網絡時延,或者EAS服務需要訪問您在同一VPC下的其他云產品等,您可以通過配置網絡連通來實現上述能力,詳情請參見配置網絡連通。
您也可以為公共資源組配置日志服務,部署到公共資源組的EAS服務產生的日志會存儲到日志服務中,方便對EAS服務進行實時監控,詳情請參見配置資源組日志服務。
使用以下任意一種方式將服務部署至公共資源組。
控制臺方式
在模型在線服務(EAS)頁面部署模型服務,其中資源組種類選擇公共資源組,詳情請參見服務部署:控制臺。
EASCMD方式
通過EASCMD客戶端部署模型服務,詳情請參見服務部署:EASCMD或DSW。
支持使用指定機器資源或指定機器型號來部署服務。
使用機器資源來部署服務的配置方式如下。
{ "metadata": { "instance": 2, "cpu": 1, "memory": 2000 }, "cloud": { "computing": {} }, "name": "test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_cpu_1.12" }
使用機型來部署服務的配置方式如下,需在服務配置文件中增加cloud.computing.instance_type字段,用以指定實例的機型。
{ "name": "tf_serving_test", "model_path": "http://examplebucket.oss-cn-shanghai.aliyuncs.com/models/model.tar.gz", "processor": "tensorflow_gpu_1.12", "cloud":{ "computing":{ "instance_type":"ecs.gn6i-c24g1.6xlarge" } }, "metadata": { "instance": 1, "cuda": "9.0", "memory": 7000, "gpu": 1, "cpu": 4 } }
其中instance_type支持配置的機型如下。
實例規格
實例名稱
ecs.c5.6xlarge
c5(24vcpu+48GB)
ecs.c6.2xlarge
c6(8vcpu+16GB)
ecs.c6.4xlarge
c6(16vcpu+32GB)
ecs.c6.6xlarge
c6(24vcpu+48GB)
ecs.c6.8xlarge
c6(32vcpu+64GB)
ecs.g5.6xlarge
g5(24vcpu+96GB)
ecs.g6.2xlarge
g6(8vcpu+32GB)
ecs.g6.4xlarge
g6(16vcpu+64GB)
ecs.g6.6xlarge
g6(24vcpu+96GB)
ecs.g6.8xlarge
g6(32vcpu+128GB)
ecs.gn5-c28g1.7xlarge
28vcpu+112GB+1*P100
ecs.gn5-c4g1.xlarge
4vcpu+30GB+1*P100
ecs.gn5-c8g1.2xlarge
8vcpu+60GB+1*P100
ecs.gn5-c8g1.4xlarge
16vcpu+120GB+2*P100
ecs.gn5i-c4g1.xlarge
4vcpu+16GB+1*P4
ecs.gn5i-c8g1.2xlarge
8vcpu+32GB+1*P4
ecs.gn6i-c16g1.4xlarge
16vcpu+62GB+1*T4
ecs.gn6i-c24g1.12xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c24g1.6xlarge
48vcpu+186GB+2*T4
ecs.gn6i-c4g1.xlarge
4vcpu+15GB+1*T4
ecs.gn6i-c8g1.2xlarge
8vcpu+31GB+1*T4
ecs.gn6v-c8g1.2xlarge
8vcpu+32GB+1*V100
ecs.r6.2xlarge
r6(8vcpu+64GB)
ecs.r6.4xlarge
r6(16vcpu+128GB)
ecs.r6.6xlarge
r6(24vcpu+192GB)
ecs.r6.8xlarge
r6(32vcpu+256GB)
ecs.g7.2xlarge
g7(8vcpu+32GB)
ecs.g7.4xlarge
g7(16vcpu+64GB)
ecs.g7.6xlarge
g7(24vcpu+96GB)
ecs.g7.8xlarge
g7(32vcpu+128GB)
ecs.c7.2xlarge
c7(8vcpu+16GB)
ecs.c7.4xlarge
c7(16vcpu+32GB)
ecs.c7.6xlarge
c7(24vcpu+48GB)
ecs.c7.8xlarge
c7(32vcpu+64GB)
ecs.r7.2xlarge
r7(8vcpu+64GB)
ecs.r7.4xlarge
r7(16vcpu+128GB)
ecs.r7.6xlarge
r7(24vcpu+192GB)
ecs.r7.8xlarge
r7(32vcpu+256GB)
ecs.g7.16xlarge
g7(64vcpu+256GB)
ecs.c7.16xlarge
c7(64vcpu+128GB)
ecs.r7.16xlarge
r7(64vcpu+512GB)
ecs.gn7i-c8g1.2xlarge
8vcpu+30GB+1*A10
ecs.gn7i-c16g1.4xlarge
16vcpu+60GB+1*A10
ecs.gn7i-c32g1.8xlarge
32vcpu+188GB+1*A10
ecs.gn6e-c12g1.3xlarge
12vcpu+92GB+1*V100
ecs.g6.xlarge
g6(4vcpu+16GB)
ecs.c6.xlarge
c6(4vcpu+8GB)
ecs.r6.xlarge
r6(4vcpu+32GB)
ecs.g6.large
g6(2vcpu+8GB)
ecs.c6.large
c6(2vcpu+4GB)
ecs.r6.large
r6(2vcpu+16GB)
ecs.c7a.large
AMD(2vcpu+4GB)
ecs.c7a.xlarge
AMD(4vcpu+8GB)
ecs.c7a.2xlarge
AMD(8vcpu+16GB)
ecs.c7a.4xlarge
AMD(16vcpu+32GB)
ecs.c7a.8xlarge
AMD(32vcpu+64GB)
ecs.c7a.16xlarge
AMD(64vcpu+128GB)
ecs.g7a.large
AMD(2vcpu+8GB)
ecs.g7a.xlarge
AMD(4vcpu+16GB)
ecs.g7a.2xlarge
AMD(8vcpu+32GB)
ecs.g7a.4xlarge
AMD(16vcpu+64GB)
ecs.g7a.8xlarge
AMD(32vcpu+128GB)
ecs.g7a.16xlarge
AMD(64vcpu+256GB)