多規(guī)格實(shí)例選擇
在部署服務(wù)時(shí)，只指定單一規(guī)格的計(jì)算資源，會(huì)出現(xiàn)由于該規(guī)格庫(kù)存不足導(dǎo)致服務(wù)長(zhǎng)時(shí)間無(wú)法拉起的情況。針對(duì)該問(wèn)題，EAS部署環(huán)節(jié)支持多規(guī)格實(shí)例選擇，通過(guò)遍歷配置文件中提供的規(guī)格列表來(lái)拉起資源，從而極大降低單一規(guī)格庫(kù)存不足帶來(lái)的部署風(fēng)險(xiǎn)。本文為您介紹多規(guī)格實(shí)例配置方法。
前提條件
如果您使用本地客戶端方式配置多規(guī)格實(shí)例，則需要完成以下操作：
已下載EASCMD客戶端并認(rèn)證成功，具體操作，請(qǐng)參見(jiàn)下載并認(rèn)證客戶端。
使用限制
僅支持部署在公共資源組上的EAS服務(wù)配置多規(guī)格實(shí)例。
如何使用多規(guī)格實(shí)例
您可以在新建服務(wù)時(shí)配置多規(guī)格實(shí)例，也可以對(duì)已有的服務(wù)直接更新來(lái)實(shí)現(xiàn)多規(guī)格實(shí)例的配置。
以下面的資源配置目標(biāo)為例來(lái)介紹如何通過(guò)控制臺(tái)和本地客戶端實(shí)現(xiàn)多規(guī)格實(shí)例的配置。
資源類型 | 機(jī)器型號(hào) | 實(shí)例規(guī)格 | 出價(jià) |
競(jìng)價(jià)資源 | 8vcpu+16GB | ecs.c8i.2xlarge | 1 |
常規(guī)型資源 | 4vcpu+8GB | ecs.c8i.xlarge | 不需要 |
通過(guò)控制臺(tái)配置多規(guī)格實(shí)例
登錄PAI控制臺(tái)，在頁(yè)面上方選擇目標(biāo)地域，并在右側(cè)選擇目標(biāo)工作空間，然后單擊進(jìn)入EAS。
新建服務(wù)：在推理服務(wù)頁(yè)簽，單擊部署服務(wù)，選擇自定義模型部署> 自定義部署。
更新服務(wù)：在推理服務(wù)頁(yè)簽的服務(wù)列表中找到要操作的服務(wù)，操作列單擊更新。
在資源部署區(qū)域，配置以下關(guān)鍵參數(shù)，其他參數(shù)配置詳情，請(qǐng)參見(jiàn)服務(wù)部署：控制臺(tái)。
參數(shù)
描述
資源類型
選擇公共資源。
部署資源
資源規(guī)格：選擇資源規(guī)格。
競(jìng)價(jià)：打開(kāi)開(kāi)關(guān)，表示使用競(jìng)價(jià)資源；開(kāi)關(guān)關(guān)閉，表示使用常規(guī)型資源。
出價(jià)：僅競(jìng)價(jià)實(shí)例需要設(shè)置出價(jià)，系統(tǒng)根據(jù)出價(jià)來(lái)自動(dòng)競(jìng)價(jià)搶占資源。
如果競(jìng)價(jià)實(shí)例庫(kù)存充足，且出價(jià)不低于當(dāng)前競(jìng)價(jià)實(shí)例市場(chǎng)價(jià)，可以使用競(jìng)價(jià)實(shí)例。
配置多規(guī)格實(shí)例：
單擊添加按鈕來(lái)配置多規(guī)格實(shí)例，最多支持添加10個(gè)資源類型。系統(tǒng)會(huì)按照配置規(guī)格的先后順序作為優(yōu)先級(jí)排序來(lái)拉起資源。
競(jìng)價(jià)型保留時(shí)長(zhǎng)
當(dāng)打開(kāi)競(jìng)價(jià)開(kāi)關(guān)時(shí)，支持配置該參數(shù)。支持以下兩種配置方式：
設(shè)定實(shí)例使用1小時(shí)：您可以為競(jìng)價(jià)實(shí)例設(shè)置1小時(shí)保護(hù)期，即實(shí)例搶占成功后，默認(rèn)至少可以使用1小時(shí)。
無(wú)確定保護(hù)期：表示禁用保護(hù)期。不保證有固定時(shí)長(zhǎng)的保護(hù)期來(lái)保障資源的使用。
關(guān)于競(jìng)價(jià)實(shí)例的詳細(xì)介紹，請(qǐng)參見(jiàn)競(jìng)價(jià)實(shí)例選擇。
單擊部署/更新。待服務(wù)狀態(tài)變?yōu)?b>運(yùn)行中時(shí)，表明服務(wù)部署成功。
通過(guò)本地客戶端配置多規(guī)格實(shí)例
準(zhǔn)備JSON格式的文件，命名為
service.json，文件內(nèi)容示例如下。{ "name": "service_name", "model_path": "http://examplebucket.aliyuncs.com/models%2Fmnist_saved_model.tar.gz", "processor": "tensorflow_cpu_1.12", "metadata": { "instance": 1 }, "cloud": { "computing": { "instances": [ { "type": "ecs.c8i.2xlarge", "spot_price_limit": 1 }, { "type": "ecs.c8i.xlarge" } ], "disable_spot_protection_period": false } } }其中關(guān)鍵參數(shù)說(shuō)明如下。其他參數(shù)說(shuō)明，詳情請(qǐng)參見(jiàn)命令使用說(shuō)明。
參數(shù)
描述
instance
服務(wù)啟動(dòng)的實(shí)例數(shù)量。上述JSON文件中表示啟動(dòng)1個(gè)實(shí)例。
instances
表示允許的實(shí)例規(guī)格，支持配置多個(gè)。當(dāng)實(shí)例規(guī)格競(jìng)價(jià)失敗或庫(kù)存不足時(shí)，按照配置順序依次嘗試使用下一個(gè)實(shí)例規(guī)格創(chuàng)建服務(wù)。
type：表示配置的實(shí)例規(guī)格。
spot_price_limit為可選參數(shù)：
當(dāng)配置該參數(shù)時(shí)：表示對(duì)應(yīng)實(shí)例規(guī)格使用競(jìng)價(jià)實(shí)例，并指明價(jià)格上限。單位為CNY，支持按量付費(fèi)。
當(dāng)不配置該參數(shù)時(shí)：表示對(duì)應(yīng)實(shí)例規(guī)格為普通的按量付費(fèi)實(shí)例。
disable_spot_protection_period
支持以下取值：
false（默認(rèn)值）：表示在競(jìng)價(jià)實(shí)例創(chuàng)建成功后，默認(rèn)有1小時(shí)保護(hù)期。在保護(hù)期內(nèi)即使市場(chǎng)價(jià)格超過(guò)了出價(jià)，實(shí)例也不會(huì)被釋放。
true：表示禁用保護(hù)期，無(wú)保護(hù)期實(shí)例會(huì)始終比有保護(hù)期實(shí)例優(yōu)惠10%左右。
打開(kāi)終端工具，在JSON文件所在目錄，執(zhí)行以下命令。更多操作說(shuō)明，請(qǐng)參見(jiàn)命令使用說(shuō)明。
以Windows 64版本為例：
新建服務(wù)
eascmdwin64.exe create <service.json>其中：<service.json>需要替換為您創(chuàng)建的JSON文件名稱。
更新服務(wù)
eascmdwin64.exe modify <service_name> -s <service.json>其中：
<service_name>需要替換為要更新的EAS服務(wù)名稱。
<service.json>需要替換為您創(chuàng)建的JSON文件名稱。