本文將介紹如何在行業算法版中使用AI搜索開放平臺提供的文本向量化服務,以實現在業務數據導入階段和搜索階段中利用AI模型提升向量化效果,提升檢索效果。
背景信息
AI搜索開放平臺圍繞智能搜索及RAG場景,將AI搜索鏈路中用到的算法服務以組件化形式提供,內置多種文本向量化模型、LLM大語言模型等,開發者根據自身情況靈活選擇組件服務進行搜索業務開發。
現已支持在行業算法版中開通并接入AI搜索開放平臺所提供的模型服務,在索引結構配置時,建議選擇使用AI搜索開放平臺提供的多維度文本向量化模型來分析索引字段。在業務數據導入和搜索階段,行業算法版將依據配置的索引字段方式進行文本向量化,從而提升搜索效果。
使用流程
計費規則
AI搜索開放平臺提供的文本向量化服務采用按量付費模式,按照服務調用量計費。每小時生成一個計費賬單,所有的分時賬單歸屬于一個訂單,并按照生成訂單時的賬單從阿里云賬號扣費,您可以在費用與成本中心查看消費明細。
由于在業務數據導入階段和業務調用搜索功能階段,行業算法版將依據配置的索引字段方式進行業務數據文本向量化和搜索內容向量化,因此在這兩個階段均會產生向量化費用。
服務ID | 簡介 | 計費單位 | 0-500個單位定價 | 超出500個單位定價 |
ops-text-embedding-001 | 多語言(40+)文本向量化服務,輸入文本最大長度300,輸出向量維度1536維 | 元/千tokens | 0.005 | 0.0001 |
ops-text-embedding-002 | 語言(100+)文本向量化服務,輸入文本最大長度8192,輸出向量維度1024維 | 0.005 | 0.0005 | |
ops-text-embedding-zh-001 | 中文文本向量化服務,輸入文本最大長度1024,輸出向量維度768維 | 0.005 | 0.00005 | |
ops-text-embedding-en-001 | 英文文本向量化服務,輸入文本最大長度512,輸出向量維度768維 | 0.005 | 0.00005 |
使用示例
購買行業算法版獨享型實例,目前僅支持在獨享型實例中使用AI搜索開放平臺提供的多維度向量化服務。
單擊一鍵接入開通AI搜索開放平臺服務。
重要您使用該功能將使得您的業務數據傳輸至產品部署(中國上海)的區域進行處理,因您的配置而異,可能會涉及跨境數據傳輸,以下信息需要您知曉并遵守:
如涉及跨境數據傳輸,使用本功能,即表示您確保您業務數據的跨境傳輸符合所有適用法律,包括提供充分的數據保護、提供充分的隱私聲明、獲得有關個人的必要同意等,且您的業務數據不含任何適用法律限制或禁止傳輸或披露的內容。
您在此聲明并保證,您將遵守以上合規要求。如因您違反前述聲明與保證,導致阿里云和/或其關聯公司遭受任何損失,您應承擔賠償責任。
接入AI搜索開放平臺服務后,您可以看到服務調用相關信息:
界面
說明
工作空間:用于隔離和管理不同的業務數據,首次開通AI搜索開放平臺服務后,系統自動創建一個Default空間,您也可以創建更多空間隔離不同業務。
AI搜索開放平臺支持通過空間+RAM用戶授權方式,讓RAM用戶最小化權限使用AI服務,增加數據安全,詳情參見空間管理和RAM用戶授權。
當前RAM賬號有多個工作空間的使用權限時,單擊編輯切換空間。
接入地址:AI搜索開放平臺支持通過公網訪問服務,也支持杭州、深圳、北京、張家口、青島地域的用戶通過VPC地址跨地域調用AI搜索開放平臺的服務。
單擊編輯配置行業算法版實例通過公網或者VPC地址調用服務。
API Key:調用服務時的身份認證信息。如果您需要將指定工作空間下的API Key授權給RAM用戶使用,需要給RAM用戶授予相關的權限。
存在多個API Key或者API Key失效時,單擊編輯切換API Key。API Key失效時,頁面會提示您更新,同時,業務系統使用搜索業務時也會返回報錯信息。
開通AI搜索開放平臺服務后,您也可以將地域切換為上海,體驗AI搜索開放平臺提供的更多服務。
配置應用結構,具體步驟包含添加搜索業務數據源信息、定義主表、配置多表之間的關聯關系、表主鍵、字段映射類型等信息。
配置索引結構,字段類型為TEXT或者SHORT_TEXT時,分析方式可選擇向量分析(AI搜索開放平臺提供的多維度文本向量化服務)下的服務,后續導入業務數據時,可以直接導入原始文本數據,通過此處的文本向量化服務完成數據向量化,產生的費用請參見計費規則。
配置數據源,本實例中的業務數據存儲在MaxCompute中,根據MaxCompute數據特性,行業算法版允許用戶指定數據導入的分區,支持通過正則表達式導入前一天的數據構建索引,可參見配置MaxCompute 數據源掌握更多數據分區條件寫法。
完成上述配置后,系統開始導入數據并構建索引,通過實例詳情頁查看任務進度。
應用狀態為正常時,表示索引構建完成。
配置搜索召回時使用的向量模型,單擊搜索算法中心>召回配置>查詢分析器配置,在功能選擇模塊選擇文本向量化,向量索引值為步驟4中配置的索引名稱。一個應用中可以添加多條查詢分析器,詳情參見查詢分析配置。
單擊功能擴展>搜索測試測試搜索效果,測試階段也會產生向量化費用。
通過查詢分析過程確認搜索內容是否使用了AI搜索開放平臺提供的向量化服務:
測試效果達到業務要求時,您可以參照開發指南在業務應用中通過SDK調用搜索功能。
常見問題
調用搜索功能時,系統報錯提示“6614:AI平臺文本向量化失敗”。
6614錯誤提示表示AI搜索開放平臺配置發生錯誤導致調用服務時出錯,可以按照以下步驟檢查和解決: