AI搜索開放平臺圍繞智能搜索及RAG場景，將AI搜索鏈路中用到的算法服務以組件化形式提供，內置文檔解析、文檔切片、文本向量化、查詢分析、召回、排序、效果評估以及LLM模型服務，開發(fā)者根據(jù)自身情況靈活選擇組件服務進行搜索業(yè)務開發(fā)。

產(chǎn)品能力

文檔解析服務

支持文檔、圖片分鐘級解析，針對PDF、DOC、HTML、TXT等文檔，能夠區(qū)分多種版式，從非結構化文檔中提取出標題、分段等邏輯層級結構，以及文本、表格、圖片、代碼等信息，去除頁眉、頁腳、識別上標、下標等信息，以結構化的格式輸出。

圖片解析服務

針對架構圖、分析圖表等圖片數(shù)據(jù)，提供圖片內容理解服務，可基于多模態(tài)大模型對圖片內容進行解析理解以及文字識別，也可基于OCR能力對圖片文字進行識別，將文字信息提取出來，用于圖片檢索及問答等場景。

文檔切片服務

提供通用文檔切片服務，可基于文檔語義、段落結構以及指定規(guī)則進行切分，以便提升后續(xù)文檔處理及檢索效率，輸出的切片樹可在檢索召回時進行上下文補全。

多語言向量模型

• 文本向量化提供將文本數(shù)據(jù)轉化為稠密向量形式表達的服務，支持多款不同語言、輸入長度、輸出維度的文本向量模型，可用于信息檢索、文本分類、相似性比較等場景。

• 文本稀疏向量化提供將文本數(shù)據(jù)轉化為稀疏向量形式表達的服務，稀疏向量存儲空間更小，常用于表達關鍵詞和詞頻信息，可與稠密向量搭配進行混合檢索，提升最終檢索效果。

• 向量微調服務提供向量模型調優(yōu)服務，可通過定制訓練向量降維模型，在不帶來過多檢索效果損失的情況下，輔助將高維度向量降低維度，以便提升性價比。

查詢分析服務

提供Query內容分析服務，基于大語言模型及NLP能力，可對用戶輸入的查詢內容進行意圖識別、相似問題擴展、NL2SQL處理等，有效提升RAG場景中檢索問答效果。

搜索引擎

提供向量檢索、文本檢索引擎，可進行向量&文本內容存儲、構建索引、以及在線向量&文本檢索，開通引擎服務后，可與AI搜索開放平臺豐富的API服務組合使用。

排序服務

提供Query及DOC的相關性排序服務，在RAG及搜索場景中，可通過排序服務找到相關性更高的內容并依次返回，引入排序服務可有效提升檢索及大模型生成的準確率。

大模型內容生成服務

提供多種大語言模型服務，包含通義系列的通義千問-Turbo、通義千問-Plus、通義千問-Max、通義千問-MAX-長文本大模型。同時內置OpenSearch-通義千問-Turbo大模型，該模型以qwen-turbo大規(guī)模語言模型為模型底座，進行有監(jiān)督的模型微調強化RAG檢索增強的能力，降低模型幻覺率。

產(chǎn)品優(yōu)勢

• 豐富的AI搜索能力：依托領先的模型底座訓練AI搜索專屬模型，內置搜索及RAG場景全鏈路組件化服務。

• 靈活的調用方式：通過API、SDK調用服務，方便開發(fā)者、企業(yè)客戶及ISV技術人員將部分或全鏈路AI搜索服務集成到自身業(yè)務鏈路中。

• 開箱即用：開通后即可靈活調用全量服務。

• 最佳實踐：基于OpenSearch多年在智能搜索、RAG領域的沉淀，內置多種AI搜索最佳實踐，可快速搭建更加適配業(yè)務需求的搜索鏈路。

應用場景

借助AI搜索開放平臺，您可以：