步驟一：部署推理服務

1. 執行以下命令，通過Arena部署一個自定義類型的服務。該服務名稱為modelscope，版本號為v1。

   應用啟動后程序會自動從ModelScope下載名為qwen/Qwen1.5-4B-Chat的模型。如需修改為其他模型可以修改啟動參數里的MODEL_ID字段，可以通過環境變量DASHSCOPE_API_KEY配置ModelScope SDK Token信息。

   重要

   ModelScope模型將會下載到容器內，因此GPU節點磁盤空間至少需要預留30 GB。

   arena serve custom \
       --name=modelscope \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=qwen/Qwen1.5-4B-Chat python3 server.py"

   參數說明如下所示：

   參數	說明
   --name	指定推理服務名稱。
   --version	指定推理服務版本。
   --gpus	指定單個推理服務副本需要使用的GPU卡數。
   --replicas	指定推理服務副本數。
   --restful-port	指定推理服務對外暴露的端口。
   --readiness-probe-action	指定就緒探針連接類型，支持HttpGet、Exec、gRPC、TCPSocket。
   --readiness-probe-action-option	指定就緒探針連接方式。
   --readiness-probe-option	指定就緒探針配置。
   --image	指定推理服務的鏡像地址。

   預期輸出：

   service/modelscope-v1 created
   deployment.apps/modelscope-v1-custom-serving created
   INFO[0002] The Job modelscope has been submitted successfully
   INFO[0002] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

   輸出結果表明一系列與部署名為modelscope-v1的模型服務相關的Kubernetes資源創建操作已成功執行。

2. 執行以下命令，查看推理服務的詳細信息。

   模型下載需要耗費一定時間，因此部署服務后需要等待大約10分鐘才能查看推理服務的詳細信息。

   arena serve get modelscope

   預期輸出：

   Name:       modelscope
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        10m
   Address:    172.16.XX.XX
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                           STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                           ------   ---  -----  --------  ---  ----
     modelscope-v1-custom-serving-5bb85d6555-2p6z9  Running  10m  1/1    0         1    cn-beijing.192.168.XX.XX

   輸出結果表明modelscope推理服務已被成功部署并處于健康運行狀態，已經準備就緒可以接受請求，且模型及服務環境已成功配置在具有GPU資源的節點上。

步驟二：驗證推理服務

1. 執行以下命令，在推理服務與本地環境之間建立端口轉發。

   重要

   請注意kubectl port-forward建立的端口轉發不具備生產級別的可靠性、安全性和擴展性，因此僅適用于開發和調試目的，不適合在生產環境使用。更多關于Kubernetes集群內生產可用的網絡方案的信息，請參見Ingress概述。

   kubectl port-forward svc/modelscope-v1 8000:8000

   預期輸出：

   Forwarding from 127.0.0.1:8088 -> 8000
   Forwarding from [::1]:8088 -> 8000

2. 執行以下命令，向modelscope模型推理服務發送一條模型推理請求。

   curl -XPOST http://localhost:8000/generate -H "Content-Type: application/json"  -d '{"text_input": "什么是人工智能？人工智能是", "parameters": {"stream": false, "temperature": 0.9, "seed": 10}}'

   預期輸出：

   {"model_name":"/root/.cache/modelscope/hub/qwen/Qwen1___5-4B-Chat","text_output":"什么是人工智能？人工智能是研究如何使計算機和機器模仿人類的智能行為來實現自主思考"}

   輸出結果表明模型可以根據提問自動生成關于人工智能的定義。

（可選）步驟三：清理推理服務

如果不再使用已創建的資源，請執行以下命令，刪除已部署的模型推理服務。

arena serve del modelscope

步驟一：部署推理服務

1. 確認容器可以訪問到HuggingFace倉庫。

2. 執行以下命令，通過Arena部署一個自定義類型的服務，該服務名稱為huggingface，版本號為v1。

   本文通過設定MODEL_SOURCE環境變量指定模型倉庫為HuggingFace，應用啟動后會自動從HuggingFace下載名為qwen/Qwen1.5-4B-Chat的模型，如需修改為其他HuggingFace模型，請修改啟動參數里的MODEL_ID字段。也支持通過環境變量HUGGINGFACE_TOKEN配置HugginFace Token信息。

   重要

   HuggingFace模型將會下載到容器內，因此GPU節點磁盤空間至少需要預留30 GB。

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   參數說明如下所示：

   參數	說明
   --name	指定推理服務名稱。
   --version	指定推理服務版本。
   --gpus	指定單個推理服務副本需要使用的GPU卡數。
   --replicas	指定推理服務副本數。
   --restful-port	指定推理服務對外暴露的端口。
   --readiness-probe-action	指定就緒探針連接類型，支持HttpGet、Exec、gRPC、TCPSocket。
   --readiness-probe-action-option	指定就緒探針連接方式。
   --readiness-probe-option	指定就緒探針配置。
   --image	指定推理服務的鏡像地址。

   預期輸出：

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status 

   輸出結果表明推理服務已成功部署。

3. 執行以下命令，查看推理服務的詳細信息。

   模型下載需要耗費一定時間，因此部署服務后需要等待大約10分鐘才能查看推理服務的詳細信息。

   arena serve get huggingface

   預期輸出：

   Name:       huggingface
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  0
   Age:        1h
   Address:    172.16.XX.XX
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                           STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                           ------   ---  -----  --------  ---  ----
     huggingface-v1-custom-serving-dcf6cf6c8-2lqzr  Running  1h   1/1    0         1    cn-beijing.192.168.XX.XX

   輸出結果表明該推理服務的一個Pod（huggingface-v1-custom-serving-dcf6cf6c8-2lqzr）正在穩定運行，且已準備好提供服務。

步驟二：驗證推理服務

1. 執行以下命令，在推理服務與本地環境之間建立端口轉發。

   重要

   請注意kubectl port-forward建立的端口轉發不具備生產級別的可靠性、安全性和擴展性，因此僅適用于開發和調試目的，不適合在生產環境使用。更多關于Kubernetes集群內生產可用的網絡方案的信息，請參見Ingress概述。

   kubectl port-forward svc/huggingface-v1 8000:8000

   預期輸出：

   Forwarding from 127.0.0.1:8088 -> 8000
   Forwarding from [::1]:8088 -> 8000

2. 執行以下命令，向HuggingFace模型推理服務發送一條模型推理請求。

   curl -XPOST http://localhost:8000/generate -H "Content-Type: application/json"  -d '{"text_input": "什么是人工智能？人工智能是", "parameters": {"stream": false, "temperature": 0.9, "seed": 10}}'

   預期輸出：

   {"model_name":"Qwen/Qwen1.5-4B-Chat","text_output":"什么是人工智能？人工智能是計算機科學的一個分支，它試圖創建一種能夠模擬人類智能的機器"}

   輸出結果表明模型可以根據提問自動生成關于人工智能的定義。

（可選）步驟三：清理推理服務

如果不再使用已創建的資源，請執行以下命令，刪除已部署的模型推理服務。

arena serve del huggingface

步驟二：部署推理服務

1. 執行以下命令，通過Arena部署一個自定義類型的服務，該服務名稱為local-model。

   其中，--data參數將已創建的PVCllm-model掛載到了容器中的/model/Qwen1.5-4B-Chat目錄下。應用啟動后會從本地目錄/model/Qwen1.5-4B-Chat加載模型，如需修改為其他本地模型可以修改啟動參數里的MODEL_ID字段。

   arena serve custom \
       --name=local-model \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --data=llm-model:/model/Qwen1.5-4B-Chat \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=/model/Qwen1.5-4B-Chat python3 server.py"

   參數說明如下所示：

   參數	說明
   --name	指定推理服務名稱。
   --version	指定推理服務版本。
   --gpus	指定單個推理服務副本需要使用的GPU卡數。
   --replicas	指定推理服務副本數。
   --restful-port	指定推理服務對外暴露的端口。
   --readiness-probe-action	指定就緒探針連接類型，支持HttpGet、Exec、gRPC、TCPSocket。
   --readiness-probe-action-option	指定就緒探針連接方式。
   --readiness-probe-option	指定就緒探針配置。
   --data	掛載共享存儲卷PVC到運行環境中。它由兩部分組成，通過英文冒號（:）分割。冒號左側是您已經準備好的PVC名稱。您可以通過命令arena data list查看當前集群可用的PVC列表；冒號右側是您想將PVC掛載到運行環境中的路徑，也是您訓練代碼要讀取數據或模型的本地路徑。這樣通過掛載的方式，您的代碼就可以訪問PVC中的數據或模型。
   --image	指定推理服務的鏡像地址。

   預期輸出：

   service/local-model-v1 created
   deployment.apps/local-model-v1-custom-serving created
   INFO[0001] The Job local-model has been submitted successfully
   INFO[0001] You can run `arena serve get local-model --type custom-serving -n default` to check the job status

   輸出結果表明推理服務已成功部署。

2. 執行以下命令，查看推理服務詳細信息。

   模型下載需要耗費一定時間，因此部署服務后需要等待大約10分鐘才能查看推理服務的詳細信息。

   arena serve get local-model

   預期輸出：

   Name:       local-model
   Namespace:  default
   Type:       Custom
   Version:    v1
   Desired:    1
   Available:  1
   Age:        1m
   Address:    172.16.XX.XX
   Port:       RESTFUL:8000
   GPU:        1
   
   Instances:
     NAME                                            STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                            ------   ---  -----  --------  ---  ----
     local-model-v1-custom-serving-8458fb6cf6-6mvzp  Running  1m   1/1    0         1    cn-beijing.192.168.XX.XX

   輸出結果表明該推理服務的一個Pod（local-model-v1-custom-serving-8458fb6cf6-6mvzp ）正在穩定運行，且已準備好提供服務。

步驟三：驗證推理服務

1. 執行以下命令，建立推理服務與本地環境之間的端口轉發。

   重要

   請注意kubectl port-forward建立的端口轉發不具備生產級別的可靠性、安全性和擴展性，因此僅適用于開發和調試目的，不適合在生產環境使用。更多關于Kubernetes集群內生產可用的網絡方案的信息，請參見Ingress概述。

   kubectl port-forward svc/local-model-v1 8000:8000

   預期輸出：

   Forwarding from 127.0.0.1:8088 -> 8000
   Forwarding from [::1]:8088 -> 8000

2. 執行以下命令，向local-model模型推理服務發送一條模型推理請求。

   curl -XPOST http://localhost:8000/generate -H "Content-Type: application/json"  -d '{"text_input": "什么是人工智能？人工智能是", "parameters": {"stream": false, "temperature": 0.9, "seed": 10}}'

   預期輸出：

   {"model_name":"/model/Qwen1.5-4B-Chat","text_output":"什么是人工智能？人工智能是計算機科學的一個分支，它研究如何使計算機具有智能行為。"}

   輸出結果表明模型可以根據提問自動生成關于人工智能的定義。

（可選）步驟四：清理環境

如果不再使用已創建的資源，請及時清理。

• 執行以下命令，清理已部署的模型推理服務。

  arena serve del local-model

• 執行以下命令，清理已創建的PV和PVC。

  kubectl delete pvc llm-model
  kubectl delete pv llm-model