啟動WebUI調用模型服務

1. 服務部署成功后，單擊服務方式列下的查看Web應用。

2. 在WebUI頁面左側測試內容文本框中輸入請求數據，單擊執行測試，在測試結果文本框中返回結果。

   WebUI頁面右側為輸入數據的Schema，如果發送了請求之后，會顯示輸入輸出的真實數據內容。您可以根據Schema和JSON內容，構造請求數據，來調用模型服務。

通過API接口調用模型服務

為了方便演示，以在線調試為例為您說明調用方式和返回結果：

1. 在模型在線服務（EAS）頁面，單擊目標服務操作列下的在線調試。如果您不清楚該模型對應的數據格式，可以直接在在線調試頁面單擊發送請求，獲得如下圖所示的請求數據格式。

2. 您可以參考實際返回結果中Body后的請求數據格式自行構造請求數據。以上圖為例，您可以在左側Body下的文本框中輸入{"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}，單擊發送請求，獲得如下預測結果。

您可以使用PAI提供的SDK或curl命令發送POST請求，詳情請參見服務調用SDK。您也可以自行編寫代碼調用模型服務，具體操作步驟如下：

1. 獲取服務的訪問地址和Token。

   1. 在模型在線服務（EAS）頁面，單擊服務名稱，進入服務詳情頁面。

   2. 在服務詳情頁面，單擊基本信息區域的查看調用信息。

      在公網地址調用頁簽，獲取服務的訪問地址和Token。

2. 調用模型服務。

   您可以使用PAI提供的SDK或curl命令發送POST請求，詳情請參見服務調用SDK。您也可以自行編寫代碼調用模型服務，示例代碼如下：

   import requests
   import json
   
   service_url = 'YOUR_SERVICE_URL'
   token = 'YOUR_SERVICE_TOKEN'
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps({"input": {"text": "Deploying ModelScope models on PAI-EAS is simple and easy to use"}}))
   
   print(resp.text) # 輸出為模型的輸出結果。
   
   

   其中：

   • service_url：配置為已獲取的服務訪問地址。

   • token：配置為已獲取的服務Token。

啟動WebUI調用模型服務

服務部署成功后，單擊服務方式列下的查看Web應用，即可打開一個類似下圖頁面的對話窗口，在該頁面可以直接開始對話。

通過API接口調用模型服務

1. 獲取服務的訪問地址和Token。

   1. 在模型在線服務（EAS）頁面，單擊服務名稱，進入服務詳情頁面。

   2. 在服務詳情頁面，單擊基本信息區域的查看調用信息。

      在公網地址調用頁簽，獲取服務的訪問地址和Token。

2. 調用模型服務。

   您可以使用PAI提供的SDK或curl命令發送POST請求，詳情請參見服務調用SDK。您也可以自行編寫代碼調用模型服務，示例代碼如下：

   import requests
   import json
   
   service_url = 'YOUR_SERVICE_URL'
   token = 'YOUR_SERVICE_TOKEN'
   
   request = {"prompt": "浙江的省會是哪里？", "history": []}
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps(request))
   
   result = json.loads(resp.text)
   response = result['response']
   print(json.loads(resp.text)['response']) # 浙江的省會是杭州。
   
   request = {"prompt": "江蘇呢？", "history": result['history']}
   
   
   resp = requests.post(service_url,
                        headers={"Authorization": token},
                       data=json.dumps(request))
   
   
   result = json.loads(resp.text)
   response = result['response']
   print(response) # 江蘇的省會是南京。

   其中：

   • service_url：配置為已獲取的服務訪問地址。

   • token：配置為已獲取的服務Token。

   • request：對話模型的輸入，格式為JSON。

     {"prompt":"福建呢？","history":[["浙江的省會是哪里？","杭州"],["江蘇呢？","南京"]]}

     • prompt：對話模型的輸入語句。

     • history：對話歷史，格式為一個二維列表。第一維列表中每個元素為一個長度為2的列表，表示每一輪對話的問題和回答，可以直接從上次對話中獲取，以實現連續對話。您也可以截取該列表的長度以限制上下文對話輪數。

   輸出結果為JSON格式，示例如下：

   {"response":"福州","history":[["浙江的省會是哪里？","杭州"],["江蘇呢？","南京"],["福建呢？","福州"]]}

   其中：

   • response：為對話模式的回答。

   • history：含義與request請求字段中的history描述相同，可以直接帶入下一輪對話。

為了方便演示，以在線調式為例為您說明調用方式和返回結果：

1. 在模型在線服務（EAS）頁面，單擊目標服務操作列下的在線調試。

2. 在調試頁面的在線調試請求參數區域的Body處填寫{"prompt":"福建呢？","history":[["浙江的省會是哪里？","杭州"],["江蘇呢？","南京"]]}，然后單擊發送請求，即可在調式信息區域查看預測結果。