本文介紹如何使用阿里云GPU云服務器,基于ChatGLM-6B語言模型快速搭建AI對話機器人。
背景信息
ChatGLM-6B是一個開源的、支持中英雙語對話的語言模型,它基于General Language Model(GLM)架構,具有62億參數;并使用了和ChatGPT相似的技術,經過約1 TB標識符的中英雙語訓練,輔以監督微調、反饋自助、人類反饋強化學習等技術的加持,能夠生成符合人類偏好的回答。
本文基于阿里云GPU云服務器和ChatGLM-6B語言模型,指導您如何快速搭建一個AI對話機器人。
阿里云不對第三方模型“ChatGLM-6B”的合法性、安全性、準確性進行任何保證,阿里云不對由此引發的任何損害承擔責任。
您應自覺遵守第三方模型的用戶協議、使用規范和相關法律法規,并就使用第三方模型的合法性、合規性自行承擔相關責任。
操作步驟
您可以通過一鍵部署 快速完成以下操作。
創建ECS實例
前往實例創建頁。
按照界面提示完成參數配置,創建一臺ECS實例。
需要注意的參數如下,其他參數的配置,請參見自定義購買實例。
實例:選擇實例規格為ecs.gn7i-c16g1.4xlarge。
鏡像:本文使用已部署好推理所需環境的云市場鏡像,名稱為ai-inference-solution。
公網IP:選中分配公網IPv4地址,帶寬計費模式選擇按使用流量,帶寬峰值設置為10 Mbps。
說明如果您需要自行下載模型測試,建議將帶寬峰值設置為100 Mbps,以加快模型下載速度。
添加安全組規則。
在ECS實例安全組的入方向添加安全組規則并放行50001端口。具體操作,請參見添加安全組規則。
創建完成后,在ECS實例頁面,獲取公網IP地址。
說明公網IP地址用于生成圖片測試時訪問WebUI服務。
下載模型
使用root用戶遠程連接ECS實例。
該市場鏡像中,運行環境及模型都安裝在
/root
目錄下,連接實例時需使用root用戶。具體操作,請參見通過密碼或密鑰認證登錄Linux實例。執行如下命令,下載ChatGLM-6B模型。
cd /root/chatglm git clone https://www.modelscope.cn/ZhipuAI/ChatGLM-6B.git chatglm-6b git -C chatglm-6b checkout v1.0.16 sed -i '33c from .configuration_chatglm import ChatGLMConfig' chatglm-6b/modeling_chatglm.py
模型下載大約需要35分鐘,回顯信息如下圖所示時,表示模型已下載完成。
進行AI對話
執行如下命令,開啟WebUI服務。
cd /root/chatglm/ChatGLM-6B streamlit run web_demo2.py --server.port 50001 &
當出現如下回顯的時候,表示啟動成功。
在瀏覽器地址欄輸入
http://<ECS公網IP地址>:50001
,進入Web頁面。在用戶命令輸入對話框中,輸入對話內容(例如
中國有幾個直轄市?
),單擊發送,即可開始AI對話。
了解更多AIGC實踐和GPU優惠
活動入口:立即開啟AIGC之旅
反饋與建議
如果您在使用教程或實踐過程中有任何問題或建議,可以加入客戶釘釘群(釘釘群號:23210030587)與我們的工程師線上交流,將有專人跟進您的問題和建議。