操作步驟

本教程使用的LLM模型為ChatGLM3-6B。更多開源LLM，請參見ModelScope官網。

前提條件

• 已開通函數計算服務。具體操作，請參見開通函數計算服務。

• 已開通文件存儲NAS服務。具體操作，請參見歡迎使用NAS文件系統。

• 已注冊ModelScope賬號，并綁定阿里云賬號。具體操作，請參見ModelScope官網。

創建應用

1. 登錄函數計算控制臺，在左側導航欄，單擊應用。

   • 如果您首次使用函數計算的應用中心，或您的賬號下沒有創建任何應用，在左側導航欄，單擊應用后，將自動進入創建應用頁面。

     

   • 如果您之前使用過應用中心，在左側導航欄，單擊應用，然后在應用頁面單擊創建應用。

     

2. 在創建應用頁面，選擇通過模板創建應用，然后在應用列表中搜索ModelScope并選擇ModelScope模板，光標移至該卡片，然后單擊立即創建。

   

3. 在創建應用頁面，設置以下配置項，然后單擊創建應用。

   主要配置項說明如下，其余配置項保持默認值即可。

   配置項	說明	示例值
   項目基礎配置
   角色名	默認使用AliyunFCServerlessDevsRole。 針對當前應用，角色權限可能會不足，此時需要單擊前往授權為角色授予所需權限。	AliyunFCServerlessDevsRole
   模型平臺配置
   模型ID	ModelScope的模型ID。	ZhipuAI/chatglm3-6b
   模型版本	ModelScope的模型版本。	v1.0.2
   資源創建配置
   地域	選擇部署應用的地域。目前支持華東1（杭州）和華東2（上海）地域。 重要 如果部署異常，例如AIGC公共鏡像拉取耗時長，拉取失敗，請切換到其他地域重試。	華東2（上海）
   模型任務類型	ModelScope的模型任務類型。	chat
   Access Token	ModelScope的訪問令牌。ModelScope賬號與阿里云賬號綁定后，在ModelScope官網首頁獲取。	57cc1b0a-08e8-4224-******
   GPU實例類型	函數實例所使用的卡型。	fc.gpu.tesla.1
   顯存大小	函數實例的顯存大?。∕B）。	16384
   內存大小	函數實例的內存大?。∕B）。	32768

   重要

   由于本教程使用函數計算的GPU閑置實例，因此GPU實例類型和顯存大小必須指定為fc.gpu.tesla.1和16384。

4. 為應用開啟閑置預留模式。

   1. 應用部署完成后，在資源信息區域單擊后綴為model-app-func的函數名稱跳轉至函數詳情頁。

      

   2. 在函數詳情頁，選擇配置頁簽，在左側導航欄，選擇預留實例，然后單擊創建預留實例數策略。

      

   3. 在創建預留實例數策略頁面，版本和別名選擇為LATEST，預留實例數設置為1，啟用閑置模式，然后單擊確定。

      

      等待容器實例成功啟動后，可以看到當前預留實例數為1，且顯示已開啟閑置模式字樣，表示閑置預留實例已成功啟動。

使用LLM應用

1. 在應用頁面，點擊域名地址，即可使用LLM應用。

   

2. 輸入文本信息，然后單擊Submit，您可以看到模型的回答結果。

   

刪除資源

如您暫時不需要使用此應用，請及時刪除對應資源。如您需要長期使用此應用，請忽略此步驟。

1. 返回函數計算控制臺概覽頁面，在左側導航欄，單擊應用。

2. 單擊目標應用右側操作列的刪除應用，在彈出的刪除應用對話框，勾選我已確定資源刪除的風險，依舊要刪除上面已選擇的資源，然后單擊刪除應用及所選資源。

   

LLM模型列表

由于當前社區以及多種層出不窮的微調模型，本表格僅列舉了當前熱度較高的常用LLM基礎模型，在其之上的微調模型同樣是可以部署至函數計算平臺，并開啟閑置預留模式。

如果您有任何反饋或疑問，歡迎加入釘釘用戶群（釘釘群號：64970014484）與函數計算工程師即時溝通。

相關文檔

• 本文介紹LLM應用在使用過程中如果遇到報錯，請參見ModelScope一鍵部署模型：新手村實操FAQ篇。

• 關于GPU實例閑置模式計費詳情以及計費示例，請參見GPU計費。