整體架構

云原生數據倉庫 AnalyticDB PostgreSQL 版RAG Service基于先進的混合檢索能力，核心包含三大模塊：增強數據處理，增強語義檢索及增強召回。

• 增強數據處理模塊對多模態數據進行深度預理解，確保高質量的數據切分和向量轉換。

• 增強語義檢索模塊，利用先進的語義理解技術，實現對用戶需求的深入解析，從預處理后的數據中快速準確地召回相關度最高的信息片段。

• 增強召回模塊進一步通過精細排序與過濾算法，提升檢索結果的相關性和多樣性，為后續的生成步驟提供更加豐富和精準的答案。這一系列精心設計的流程，共同構成了RAG Service的強大內容生成能力，確保生成內容的高質量與高匹配度。

整體工作流程如下：

核心優勢與能力

核心優勢

1. 增強型生成質量：RAG Service不僅依賴于單獨的語言模型生成技術，同時引入檢索機制，在生成回復前先從海量數據庫中檢索相關信息，確保生成的內容更加準確且基于實際數據，從而顯著提升回答的質量和可信度。

2. 大規模知識融合：支持接入和整合企業內部知識庫、公開網絡資源等多源數據，使得生成的內容能夠覆蓋更廣的知識面，滿足不同場景下的信息需求，實現知識的高效復用與個性化定制。

3. 靈活的API接口：提供簡單易用的API接口，用戶無需深入了解復雜的AI技術細節，即可輕松集成到現有系統中，快速實現智能化升級。無論是構建智能對話機器人、自動生成報告還是內容創作等場景，RAG Service都能輕松應對。

4. 持續優化與學習：依托阿里云強大的計算能力和不斷優化的算法模型，RAG Service能夠持續學習最新的數據和用戶反饋內容，自動調整優化策略，以適應不斷變化的需求和環境，確保長期的RAG Service質量和用戶體驗。

核心能力

開放兼容

• 支持直接讀寫向量數據、上傳已經切分好的文檔、直接上傳文檔的3級接口，方便按需適配。

• 支持主流多種語言的SDK：Python、Java、Go、Node.js、PHP、C#等。

• 支持社區流行的RAG框架的內置，如LlamaIndex和Langchain。

文檔處理能力

云原生數據倉庫 AnalyticDB PostgreSQL 版RAG Service提供了多種格式的文檔文本提取和切分能力。其中，文本提取是根據文檔類型使用不同的提取器提取出文本列表，并附帶Metadata信息，如頁碼、標題等，目前支持如下文檔（文件）類型：

• 使用OCR提取圖片：支持png、jpg、jpeg和bmp格式。

• 使用OCR提取純圖片或掃描件的PDF，可以將文本上下關聯的圖片信息提取出來放到Metadata里。

• 使用PyMuPDF等Python解決方案提取文本類的PDF。

• 支持提取其它格式文件如html、markdown、json、csv、docx、pptx、txt等。

文本切分（Text Splitter）是對文本提取后的單個Chunk進一步切分，達成以下目的：

• 防止token過大，導致Embedding效果不好，可以按照ChunkSize和ChunkOverlap進行切分。

• 文本有特定的分隔符，可以指定Separators切分。

Embedding能力

文本Embedding模型：支持m3e、text2vec、通義等多種模型，包含512、768、1024、1536等維度。

圖片多模Embedding模型：支持clip、通義等多種模型，包含512、640、768、1024、1536等維度。

檢索能力

在基本能力上，RAG Service支持混合檢索、雙路召回和融合查詢三種能力。其中混合檢索是指同時檢索稠密向量和稀疏向量，雙路召回指全文檢索和向量檢索同時召回，融合查詢指在條件過濾后再進行向量檢索。在檢索多路的算法上支持：

• RRF：基于倒排的合并算法，這種算法只關注位置排序，不使用分數排序。

• Weight：基于比重的合并算法，這種算法只關注調和后的分數，不關注位置。

• Cascaded：將全文檢索作為Filter，然后再進行向量的topK檢索。

在檢索增強上，支持以下功能：

• 精排：先通過向量檢索粗召多于topK數量的Chunks，然后通過BGE或LLM重新打分排序。

• 窗口化檢索：為了防止文檔在處理階段被切分得過分細碎，導致缺失了完整的上下文，此算法可以返回檢索命中的Chunk的前后的若干條Chunks。

安全能力

• 數據私有：文檔數據存在于您創建的云原生數據倉庫 AnalyticDB PostgreSQL 版實例中，可以隨時銷毀或關閉數據訪問。同時支持數據落盤加密、配置SSL訪問、配置IP白名單等各種安全手段，以保護數據的私密性。

• 多租隔離：RAG Service支持使用Namespace（對應數據庫的Schema）隔離文檔庫，方便同一個實例按照多組織架構進行隔離。

• 健全的認證方式：使用阿里云的RAM鑒權和實例的用戶名密碼雙重認證，提高了數據在訪問過程中的安全性。

應用場景

• 智能客服：通過精準理解用戶問題，結合企業知識庫快速生成專業、個性化的解答，提升客戶滿意度。

• 內容創作：根據預設主題或風格，自動生成文章、新聞、產品描述等多樣化內容，提高內容生產效率。

• 知識管理：自動整理和摘要大量文檔資料，生成易于消化的知識點，加速團隊知識共享與學習。

• 教育培訓：根據學員需求和課程內容，定制化生成練習題、案例分析等教學材料，增強互動性和個性化教學體驗。

• 專利檢索： 面向專利文檔進行了定向的文本處理優化器，實現高質量切分和召回，實現極高的相似專利檢索服務。