使用WebUI進行模型推理

1. 單擊目標服務的服務方式 > 查看Web應用，打開WebUI頁面。

2. 在WebUI頁面，進行模型推理驗證。

   

使用在線調試進行模型推理

1. 單擊目標服務的操作列下的在線調試，打開在線調試頁面。

2. 在請求的body輸入框中輸入相應的請求json，點擊發送請求，在右側調試信息窗格中查看調試結果。

   說明

   本文模型調試信息格式為list，input字段是輸入內容；history字段是歷史對話，每個item是長度為2的list，第一個元素是問題，第二個元素是當時的回答。

   1. 開始可以輸入沒有history的請求：

      {"input": "浙江的省會在哪里？"}

      服務會返回結果，并給出history字段，示例如下。

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:45 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 511
      Body: {"response":"浙江的省會是杭州。","history":[["浙江的省會在哪里？","浙江的省會是杭州。"]]}

   2. 可以將history直接帶入下次請求中，實現連續對話。

      {"input": "江蘇呢？", "history": [["浙江的省會在哪里？", "浙江的省會是杭州。"]]}

      服務返回結果示例：

      Status Code: 200
      Content-Type: application/json
      Date: Mon, 14 Aug 2023 12:01:23 GMT
      Server: envoy
      Vary: Accept-Encoding
      X-Envoy-Upstream-Service-Time: 522
      Body: {"response":"江蘇的省會是南京。","history":[["浙江的省會在哪里？","浙江的省會是杭州。"],["江蘇呢？","江蘇的省會是南京。"]]}

使用API進行模型推理

您可以選擇直接使用API進行調用。

1. 在服務概覽頁面，單擊基本信息區塊中查看調用信息，得到調用的公網地址和Token。

   

2. 在終端中，根據上面信息進行調用。

   curl -d '{"input": "江蘇呢？", "history": [["浙江的省會在哪里？", "浙江的省會是杭州。"]]}' -H "Authorization: xxx" http://xxxx.com

   得到返回結果，示例如下：

   {"response":"江蘇的省會是南京。","history":[["浙江的省會在哪里？","浙江的省會是杭州。"],["江蘇呢？","江蘇的省會是南京。"]]}

實際使用中，可以根據需求向服務發送HTTP請求，也可以參考PAI提供的SDK進行調試。Python代碼調用示例：

import requests
import json

data = {"input": "你是誰？"}
response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

data = {"input": "你能做什么？", "history": json.loads(response.text)["history"]}


response = requests.post(url='http://qwen-demo.16623xxxxx.cn-hangzhou.pai-eas.aliyuncs.com/',
              headers={"Authorization": "yourtoken"},
              data=json.dumps(data))

print(response.text)

使用流式方式進行模型推理

1. 在服務概覽頁面，單擊基本信息區塊中查看調用信息，得到調用的公網地址和Token。

   

2. 在終端中，根據上面信息執行以下Python代碼發送流式請求。

   #encoding=utf-8
   from websockets.sync.client import connect
   import os
   import platform
   
   def clear_screen():
       if platform.system() == "Windows":
           os.system("cls")
       else:
           os.system("clear")
   
   
   def print_history(history):
       print("歡迎使用 Qwen-7B 模型，輸入內容即可進行對話，clear 清空對話歷史，stop 終止程序")
       for pair in history:
           print(f"\nUser: {pair[0]}\nQwen-7B: {pair[1]}")
   
   
   def main():
       history, response = [], ''
       clear_screen()
       print_history(history)
       with connect("<service_url>", additional_headers={"Authorization": "<token>"}) as websocket:
   
           while True:
               query = input("\nUser: ")
               if query.strip() == "stop":
                   break
               websocket.send(query)
               while True:
                   msg = websocket.recv()
                   
                   if msg == '<EOS>':
                       break
                   clear_screen()
                   print_history(history)
                   print(f"\nUser: {query}")
                   print("\nQwen-7B: ", end="")
                   print(msg)
                   response = msg
                   
               history.append((query, response))
   
   
   if __name__ == "__main__":
       main()

   其中：

   • <service_url>：需要替換為步驟1中獲取的服務訪問地址，并將訪問地址中前端的http替換為ws。

   • <token>：需要替換為步驟1中獲取的服務Token。