簡介

大模型具有一個顯著的局限性，那就是它們的知識截止到模型被訓(xùn)練的數(shù)據(jù)。一旦訓(xùn)練完成，模型就無法獲取或?qū)W習(xí)新的信息。此外，大型語言模型的訓(xùn)練數(shù)據(jù)雖然浩如煙海，但仍然有可能缺少某些領(lǐng)域的信息，或者對某些主題的覆蓋不夠深入，針對這些細領(lǐng)域的查詢可能會產(chǎn)生不夠精確或缺乏深度的結(jié)果。檢索增強生成（RAG）技術(shù)能夠利用檢索系統(tǒng)從大規(guī)模的數(shù)據(jù)庫中找到相關(guān)信息，然后將這些信息提供給文本生成模型以幫助生成更精確、更豐富、更符合實際情況的文本。

Higress 通過對接阿里云向量檢索服務(wù)能夠快速實現(xiàn)RAG功能，流程如圖所示：

配置說明

示例

dashscope:
    apiKey: xxxxxxxxxxxxxxx
    serviceFQDN: dashscope
    servicePort: 443
    serviceHost: dashscope.aliyuncs.com
dashvector:
    apiKey: xxxxxxxxxxxxxxxxxxxx
    serviceFQDN: dashvector
    servicePort: 443
    serviceHost: vrs-cn-xxxxxxxxxxxxxxx.dashvector.cn-hangzhou.aliyuncs.com
    collection: xxxxxxxxxxxxxxx
    topk: 1
    threshold: 0.4
    field: raw

CEC-Corpus數(shù)據(jù)集包含332篇突發(fā)事件的新聞報道的語料和標注數(shù)據(jù)，提取其原始的新聞稿文本，將其向量化后添加到阿里云向量檢索服務(wù)。文本向量化的教程可以參考基于向量檢索服務(wù)與TextEmbedding實現(xiàn)語義搜索。

以下為使用RAG進行增強的例子，原始請求為：海南追尾事故，發(fā)生在哪里？原因是什么？人員傷亡情況如何？

• 未經(jīng)過RAG插件處理LLM返回的結(jié)果為：

  抱歉，作為AI模型，我無法實時獲取和更新新聞事件的具體信息，包括地點、原因、人員傷亡等細節(jié)。對于此類具體事件，建議您查閱最新的新聞報道或官方通報以獲取準確信息。您可以訪問主流媒體網(wǎng)站、使用新聞應(yīng)用或者關(guān)注相關(guān)政府部門的公告來獲取這類動態(tài)資訊。

• 經(jīng)過RAG插件處理后LLM返回的結(jié)果為：

  海南追尾事故發(fā)生在海文高速公路文昌至海口方向37公里處。關(guān)于事故的具體原因，交警部門當時仍在進一步調(diào)查中，所以根據(jù)提供的信息無法確定事故的確切原因。人員傷亡情況是1人死亡（司機當場死亡），另有8人受傷（包括2名兒童和6名成人），所有受傷人員都被解救并送往醫(yī)院進行治療。