阿里云Elasticsearch(簡稱ES)提供的AI搜索功能,使用RAG技術對檢索增強生成的各個環節進行能力增強,致力于在廣泛數據中精準解析數據,并結合用戶需求,利用大模型生成高質量內容,為您提供滿意的搜索結果。
背景信息
無論是企業內部知識管理,還是面向C端的電商、內容、娛樂等領域,搜索技術的效能都直接影響點擊率、轉化率等業務指標。搜索的核心在于從海量信息中快速定位用戶需求,而AI搜索則在此基礎上更進一步,追求信息的精準度與用戶滿意度。大模型搜索潛力無限,但面臨場景效果要求高、模型使用成本高,隱私安全可控性低等問題。
阿里云ES AI搜索功能依托于強大的ES基礎,整合多樣化模型與混合檢索技術,實現了從傳統搜索到AI語義搜索的跨越。該功能通過精細的數據預處理、智能向量化、多維度檢索召回、以及大模型輔助生成,形成了一個完整且高效的智能語義搜索及RAG場景應用框架。
阿里云ES AI搜索優勢
文檔解析與切分:利用自研模型識別非結構化數據,提取關鍵信息,保證內容的完整性和語義連貫性。
高效向量化:采用參數優化的向量模型,在確保效果的同時降低成本,實現向量化過程的高效執行。
RRF混合檢索策略:結合文本、稀疏及稠密向量索引,實現多路召回,大幅提升檢索精度與效率。
意圖理解與重排優化:通過查詢分析模型理解用戶意圖,配合重排模型對結果進行精排序,確保內容的相關性。
綜合測評與靈活配置:AI搜索開放平臺提供一站式服務,包含多款模型組件,兼容開源生態,助力企業快速搭建定制化搜索系統。
阿里云ES AI搜索方案介紹
本文提供了兩種場景化方案的原理介紹。
AI語義搜索
阿里云ES提供的高性能混合檢索方案,結合AI搜索開放平臺在智能搜索場景提供的優質組件化服務,形成完整的AI語義搜索方案。
該過程包含兩個核心流程:
數據寫入流程:
運用先進的文檔切片模型實施語義層面的精細分割,轉化成若干語義切片單元。
借助自主研發的向量化模型,將這些切片轉換成稠密與稀疏向量極大地增強了信息的表達能力及檢索效率。
向量在ES搜索引擎中被用來構建高效索引,為后續的信息檢索任務奠定堅實基礎,體現了從復雜數據到結構化知識的有效轉化與利用。
數據查詢流程:
處理搜索任務時,首先將需要查詢的Query信息,通過向量化模型轉換為稠密向量和稀疏向量,然后在ES索引中進行混合檢索,召回TOP N文檔內容。
基于RAG的知識庫問答
檢索增強生成(Retrieval-Augmented Generation),簡稱RAG,是一種結合了信息檢索技術和生成式大語言模型的人工智能技術,旨在提升模型生成內容的相關性、準確性和多樣性。下圖展示了RAG全鏈路搭建方案。
該過程包含兩個核心流程:
數據寫入流程:
運用文檔解析模型,將多種非結構化文檔內容轉化為結構化數據。
運用先進的文檔切片模型,實施語義層面的精細分割,將文檔轉化成若干語義切片單元。
借助自主研發的向量化模型,將這些切片單元轉換成稠密向量與稀疏向量,并寫入ES索引中,作為在線問答知識庫,為后續的大模型信息檢索任務提供額外的信息輸入。
數據查詢流程:
處理搜索任務時,首先對Query(搜索內容)進行分析,然后在知識庫中檢索與Query最相關的片段,最后將檢索到的信息與Query一起輸入到大語言模型(LLM)中,Query作為提示或者上下文引導大模型生成更精確和豐富的回答。