OpenSearch-LLM智能問答版不僅內置了高性能的大語言模型(LLM),還支持用戶從阿里云的“大模型服務平臺百煉”中增加新的外部LLM。用戶可以根據自身的業務需求,靈活選擇和集成最合適的大語言模型,從而提高系統的多樣性和適應性。本文介紹如何查看LLM列表和新增外部LLM。本文介紹如何查看LLM列表。
模型列表
選擇模型管理->LLM可以查看LLM列表,包括模型名稱、模型類型(內置LLM/外部LLM/定制LLM)、創建時間等信息。您還可以進行問答測試等操作。
內置LLM僅支持問答測試操作。
外部LLM支持詳情、問答測試、編輯、刪除操作。
定制LLM支持詳情、問答測試、訓練模型、刪除操作。(僅專業版實例支持定制LLM)
新增外部LLM
選擇模型管理->LLM,單擊新增外部LLM按鈕進入參數配置界面,按要求填入外部LLM名稱、模型來源以及模型參數信息后,單擊確認即可新增外部LLM。
參數說明
外部LLM名稱:必填,長度為1-30個字符,以字母開頭,可以包含大小寫字母,數字和下劃線,且不能和其它名稱重復。
模型來源:必填,默認為百煉。
model_name:必填,百煉平臺中的模型名稱,如:qwen-long。要獲取model_name請登錄阿里云百煉控制臺,單擊模型廣場->查看詳情->Model可以查看模型名稱。
說明目前僅支持新增文本大模型。
Authorization:必填,用戶訪問模型時需要的API-KEY等鑒權信息,要獲取百煉平臺API-KEY請參考:獲取API-KEY。
X-DashScope-WorkSpace:本次調用需要使用的workspace。需要注意的是,對于子賬號API-KEY調用,此參數為必選項,子賬號必須歸屬于某個workspace才能調用;對于主賬號API-KEY此項為可選項,添加則使用對應的workspace身份,不添加則使用主賬號身份。要獲取Workspace ID請參考:如何使用業務空間。
max_prompt_token:最大token數,默認為5120,可以根據您選擇的模型進行設置。如qwen-long支持最長1000萬tokens(約1500萬字或1.5萬頁文檔)的超長上下文對話。
創建定制LLM
專業版OpenSearch-LLM智能問答版實例還支持用戶創建定制LLM,具體操作步驟請參考:定制LLM。