本文為您介紹如何通過計算巢服務,一鍵完成Hologres與大規模問答知識庫所需的硬件資源與軟件資源部署,快速完成企業級問答知識庫的搭建。
背景信息
Hologres是阿里巴巴自研一站式實時數倉產品,不僅支持海量數據多維分析(OLAP)、高并發低延遲的在線數據服務(Serving),還與達摩院自研高性能向量計算軟件庫Proxima深度整合,支持高性能、低延時、簡單易用的向量計算能力。關于Proxima在Hologres中的應用,請參見Proxima向量計算。
PAI-EAS是阿里云的模型在線服務平臺,支持用戶將模型一鍵部署為在線推理服務或AI-Web應用,可以一鍵部署LLM推理、AIGC等熱門服務應用。PAI-EAS適用于實時推理、近實時異步推理等多種AI推理場景,具備Serverless自動擴縮容和完整運維監控體系能力。詳情請參見EAS產品架構。
LangChain是一個開源框架,可以將大模型、向量數據庫、定制語料結合,高效完成專屬問答知識庫的搭建。Hologres現已被LangChain作為向量數據庫集成,詳情請參見LangChain-Hologres。
計算巢服務是一個開放給服務商和用戶的服務管理PaaS平臺,為服務商和用戶提供了高效、便捷、安全的服務使用體驗,服務商能更好地在阿里云上部署、交付和管理服務,用戶能集中管理在阿里云上訂閱的各類服務商提供的服務。通過計算巢,可以一鍵完成問答知識庫所需的硬件資源拉起與軟件資源部署。計算巢服務詳情介紹,請參見產品模式。
前提條件
若您使用RAM用戶進行知識庫搭建,請確認RAM用戶已具備相應的權限。需要的權限和授權方式,請參見為用戶側RAM用戶(子賬號)授權。
創建計算巢服務實例
訪問計算巢服務市場頁面,選擇Hologres+PAI 5分鐘一鍵部署企業級問答知識庫,并單擊正式創建。
在創建服務實例頁面,配置以下參數。
參數名稱
說明
服務實例名稱
計算巢服務實例的名稱。
地域
選擇Hologres、PAI-EAS、ECS實例所在的地域。
付費類型配置
付費類型
支持按量付費與包年包月,您可以按照需求選擇。
說明ECS和Hologres實例支持按量付費和包年包月,PAI-EAS實例只支持按量付費。
Hologres實例配置
Hologres計算資源核數
選擇Hologres計算資源規格。
Hologres存儲資源默認為按量付費,推薦您根據業務數據量,購買合適的存儲抵扣包。
PAI-EAS模型配置
選擇大模型
您希望部署的LLM大模型。
PAI實例規格
PAI-EAS部署大模型的實例規格。
PAI-EAS WebUI配置
PAI實例規格
PAI-EAS部署WebUI的實例規格。
VPC配置
交換機可用區
選擇交換機所在的可用區。
是否新建VPC
是否開啟新建VPC,取值說明:
開啟:會自動生成對應的專有網絡VPC實例ID和交換機實例ID,在創建計算巢服務實例時,創建對應的VPC信息。
不開啟:需手動選擇專有網絡VPC實例ID和交換機實例ID信息。
專有網絡VPC實例ID
根據實際情況,選擇合適的現有虛擬專有網絡的實例ID。
交換機實例ID
根據實際情況,選擇合適的現有業務網絡交換機的實例ID。
標簽和資源組
標簽
選擇或填寫完整的標簽鍵和標簽值,為服務資源綁定標簽。每個資源最多可綁定20條標簽。
若無可選的標簽鍵和標簽值,可創建自定義標簽。創建自定義標簽的詳細操作,請參見創建并綁定自定義標簽。
資源組
選擇您的資源要加入的資源組。
資源組對您擁有的云資源從用途、權限、歸屬等維度上進行分組,實現企業內部多用戶、多項目的資源分級管理。更多信息,請參見資源組。
單擊下一步:確認訂單,在訂單確認頁面,確認依賴檢查信息和授權信息,然后單擊立即創建。
服務實例創建成功之后,在服務實例管理列表查看已創建的服務實例狀態。
使用知識庫
配置并連接知識庫。
訪問服務實例管理頁面,單擊已部署的實例ID,進入服務實例詳情頁面。
在實例信息區域,單擊endpoint,進入Hologres+大模型WebUI。
在Hologres+大模型WebUI的設置頁簽,配置以下參數。
User:阿里云賬號或RAM用戶的AccessKey ID。您可以進入AccessKey管理頁面獲取AccessKey ID。
Password:AccessKey ID對應的AccessKey Secret。您可以進入AccessKey管理頁面獲取AccessKey Secret。
說明Embedding模型、模型在線服務PAI-EAS連接信息與計算巢部署的Hologres實例的VPC Host、Port、Database(默認為:chatbot)信息已配置,無需修改。
單擊連接Hologres。
在連接信息中返回連接Hologres成功內容,即說明連接成功。
在上傳頁簽,選擇您的專屬語料數據文件,然后單擊上傳。本文以語料示例文件為例。
上傳完成后在狀態區域,返回
成功上傳 1 個文件 [ example_data.txt, ] !
內容,即說明上傳成功。在聊天頁簽,配置問題反饋相關參數。
參數
說明
選擇聊天模式
向量數據庫:使用您在Hologres中上傳的語料數據進行向量近似查詢問答。
大語言模型:使用原始的預訓練大語言模型進行問答。
向量數據庫+大語言模型:使用您在Hologres中上傳的語料數據進行向量近似查詢,然后通過大模型對查詢結果進行進一步完善和調整,最終反饋優化后的結果。
查詢最相關的k條語料
返回查詢結果的數量,默認為3條。
選擇prompt模板
返回結果的樣式,支持通用、URL提取和自定義。
建議使用通用模板。
在提問框中輸入您的問題,并單擊提交。
您可以進一步使用PAI-EAS部署的大模型的調用信息,將知識庫接入實際業務場景進行使用,例如:接入釘釘聊天群聊,詳情請參見使用Hologres和大模型免費定制專屬聊天機器人。