專屬服務為AI開發者提供深度學習模型的獨立部署,開發者可按需部署需要的算力單元數量,此文檔用于說明如何快速部署并使用一個專屬服務。如果希望了解API詳情,請參考詳細介紹。
前提條件
已開通服務并獲得api-key:開通DashScope并創建API-KEY
已安裝最新版SDK:安裝DashScope SDK
1. 創建專屬服務
下面的命令使用模型qwen-turbo
,創建一個專屬服務qwen-turbo-5790cf81
,使用2
個算力單元:
curl 'https://dashscope.aliyuncs.com/api/v1/deployments' \
--header 'Authorization: bearer <your-dashscope-api-key>' \
--header 'Content-Type: application/json' \
--data '{
"model_name": "qwen-turbo",
"capacity": 2
}'
說明
執行命令前,需要使用您的API-KEY替換示例中的<your-dashscope-api-key>。
命令執行成功后,返回如下結果:
{
"request_id":"12869b6a-4785-9d65-91c1-0a1c102aadd4",
"output":{
"deployed_model":"qwen-turbo-5790cf81",
"status":"PENDING",
"model_name":"qwen-turbo"
}
}
其中deployed_model
為專屬服務的唯一ID。
2. 查詢服務狀態
通過以下命令查詢指定專屬服務的詳細信息:
curl 'https://dashscope.aliyuncs.com/api/v1/deployments/qwen-turbo-5790cf81' \
--header 'Authorization: bearer <your-dashscope-api-key>' \
--header 'Content-Type: application/json'
命令執行成功后,返回如下結果:
{
"request_id":"b34157d6-8c85-9dc8-a086-c619e8ade696",
"output":{
"deployed_model":"qwen-turbo-5790cf81",
"status":"PENDING",
"model_name":"qwen-turbo"
"capacity":2
}
}
當服務狀態為RUNNING
時,服務部署完成。
3. 執行推理請求
通過SDK對專屬服務發起請求:
from dashscope import Generation
from http import HTTPStatus
response = Generation.call(
model='qwen-turbo-5790cf81',
prompt='萬有引力是誰發現的?'
)
if response.status_code == HTTPStatus.OK:
print(response.output)
print(response.usage)
else:
print(response.code)
print(response.message)
說明
執行推理請求使用的API-KEY需要與創建服務使用的API-KEY相同,或歸屬于相同的阿里云賬號。若首次使用DashScope SDK,請參考安裝DashScope SDK,API-KEY設置。
代碼執行成功后,返回如下結果:
{"text": "萬有引力是艾薩克·牛頓發現的。"}
{"input_tokens": 29, "output_tokens": 13}
4. 刪除專屬服務
不再使用的專屬服務,可以通過下面的命令刪除:
curl --request DELETE 'https://dashscope.aliyuncs.com/api/v1/deployments/qwen-turbo-5790cf81' \
--header 'Authorization: bearer <your-dashscope-api-key>' \
--header 'Content-Type: application/json'
命令執行成功后,返回以下結果:
{
"request_id":"4bb4d869-bb24-9439-8fb2-e67231228144",
"output":{
"deployed_model":"qwen-turbo-5790cf81",
"status":"DELETING",
"model_name":"qwen-turbo",
"capacity":2
}
}
了解更多
有關專屬服務API的詳細調用文檔可前往詳細介紹頁面進行了解。
文檔內容是否對您有幫助?