背景信息

Llama-3開源80億參數和700億參數兩個尺寸，同步開源基座和對話模型。Llama-3在模型架構上繼承前代整體結構，將上下文長度從4K增加到了8K。在具體性能評測中，Llama-3基座模型和對話模型相比前代模型，在學科能力、推理能力、知識能力、理解能力等多個能力維度的評測集上均獲得很高的效果提升。

部署EAS服務

1. 進入模型在線服務頁面。

   1. 登錄PAI控制臺。

   2. 在左側導航欄單擊工作空間列表，在工作空間列表頁面中單擊待操作的工作空間名稱，進入對應工作空間內。

   3. 在工作空間頁面的左側導航欄選擇模型部署>模型在線服務（EAS），進入模型在線服務頁面。

2. 在模型在線服務（EAS）頁面，單擊部署服務，然后在場景化模型部署區域，單擊LLM大語言模型部署。

3. 在部署LLM大語言模型頁面，配置以下關鍵參數，其他參數使用默認配置。

   參數	描述
   服務名稱	自定義服務名稱。本方案使用的示例值為：chat_llama3_demo。
   模型來源	選擇開源公共模型。
   模型類別	選擇llama3-8b。
   資源配置選擇	推薦使用華北2（北京）地域，實例規格推薦使用ml.gu7i.c8m30.1-gu30。 說明 如果上述資源庫存不足，也可使用ecs.gn6i-c24g1.12xlarge規格。

   

4. 單擊部署，持續時間大約為3分鐘，即可完成模型部署。

   當服務狀態為運行中時，表示服務部署成功。

啟動WebUI進行模型推理

1. 單擊目標服務的服務方式列下的查看Web應用。

2. 在WebUI頁面，進行模型推理驗證。

   在對話框下方的輸入界面輸入對話內容，例如請提供一個理財學習計劃，單擊Send，即可開始對話。

相關文檔

若需了解ChatLLM-WebUI的重要版本發布信息，請參見ChatLLM-WebUI版本發布詳情。