引擎

提供檢索服務(wù)的基礎(chǔ)組建，可在資源中心進(jìn)行引擎管理也可在快速創(chuàng)建頁面直接選擇或添加。更多信息可查看引擎管理操作指南。

數(shù)據(jù)源

企業(yè)知識(shí)庫存儲(chǔ)，可在資源中心進(jìn)行數(shù)據(jù)源管理也可在快速創(chuàng)建頁面直接選擇或添加。更多信息可查看數(shù)據(jù)源管理操作指南。

源數(shù)據(jù)表索引配置

完成數(shù)據(jù)源配置后, 需配置索引結(jié)構(gòu)來完成索引構(gòu)建。基于不同的數(shù)據(jù)來源和使用場(chǎng)景, 數(shù)據(jù)字段內(nèi)容會(huì)有差異，但索引構(gòu)建的流程相似，下面以阿里云 OSS數(shù)據(jù)源為例介紹索引構(gòu)建流程。

• 字段名

字段名稱, 對(duì)采用OSS文件格式作為數(shù)據(jù)源的實(shí)例，字段名稱跟離線數(shù)據(jù)解析結(jié)果字段對(duì)應(yīng)，離線解析結(jié)果默認(rèn)的字段名稱包括：

對(duì)采用數(shù)據(jù)表作為數(shù)據(jù)源的實(shí)例，字段名和表格字段名一一對(duì)應(yīng), 假設(shè)數(shù)據(jù)源表格中只包含"id", "content"字段, 數(shù)據(jù)表索引配置對(duì)應(yīng)顯示"id", "content"字段名, 字段類型跟源數(shù)據(jù)表中定義的字段類型保持一致。

• 索引字段類型

索引字段類型定義了字段的數(shù)據(jù)類型，以便搜索引擎（例如ElasticSearch）能夠正確地處理和索引這些字段的值。以ElasticSearch為例，常見的索引字段類型：

• 文本塊切分/Chunk

當(dāng)該字段文本長(zhǎng)度比較長(zhǎng)且需要作為大模型回答的參考內(nèi)容時(shí)，建議勾選該字段。勾選后該字段的長(zhǎng)文本會(huì)被切分為短的文本塊；若不勾選，部分較長(zhǎng)的文本后半段會(huì)被直接截?cái)唷SS數(shù)據(jù)源的content字段默認(rèn)勾選。

• 向量化

文本向量化是將文本數(shù)據(jù)轉(zhuǎn)換為數(shù)值向量的過程。它將文本中的詞語、句子表示為向量形式，以便能夠信息檢索等任務(wù)中進(jìn)行相關(guān)性計(jì)算。勾選向量化后，搜索的準(zhǔn)確性能夠得到提升，對(duì)于用戶輸入的問題與相關(guān)知識(shí)庫內(nèi)容字面不一致的情況也能搜到正確的知識(shí)。

文本向量化實(shí)例

輸入文本："一條黃色的裙子"

向量化后結(jié)果：[0.2694664001464844,-0.3998311161994934,-0.14598636329174042,-0.4976918697357178,-0.13986249268054962,0.6272065043449402,-0.1434994637966156,-0.33319777250289917]

輸入文本："阿里巴巴是一家全球的互聯(lián)網(wǎng)科技公司。"

分詞結(jié)果："阿里巴巴 / 是 / 一家 / 全球 /  的 / 互聯(lián)網(wǎng) / 科技 / 公司 / 。"

輸入文本："單字分詞器是一種最基礎(chǔ)的分詞方式。"

分詞結(jié)果："單 / 字 / 分 / 詞 / 器 / 是 / 一 / 種 / 最 / 基 / 礎(chǔ) / 的 / 分 / 詞 / 方 / 式 / 。"

輸入文本："我愛中文分詞器"

分詞結(jié)果： "wo ai zhong wen fen ci qi"

輸入文本："中文分詞器"

ngram分詞結(jié)果（N=3）："中 / 文 / 分 / 詞 / 器/ 中文 / 文分 / 分詞 / 詞器/ 中文分 / 文分詞 / 分詞器"

LLM參數(shù)配置

• 生成內(nèi)容最大長(zhǎng)度（max_tokens）

控制每次生成的對(duì)話內(nèi)容長(zhǎng)度。注意輸入生成內(nèi)容的最大長(zhǎng)度不應(yīng)超過2048，超過會(huì)對(duì)輸入內(nèi)容進(jìn)行截?cái)唷?/p>

• 采樣選擇

較低的top_p代表更加謹(jǐn)慎的輸出；較高的top_p對(duì)應(yīng)更加具有創(chuàng)造力的輸出。一般推薦設(shè)置為0.7-0.8，可根據(jù)實(shí)際情況進(jìn)行調(diào)整。

• 流式輸出模式（stream）

  • 是：最終輸出結(jié)果將在生成結(jié)果的過程中逐字輸出。

  • 否：最終輸出結(jié)果將在全部生成完畢后整段輸出。

• 大模型兜底回復(fù)

  • 要：如果搜索請(qǐng)求后并未返回有效信息，則采用大模型做兜底回復(fù)

  • 不要：如果搜索請(qǐng)求后并未返回有效信息，不采用大模型做兜底回復(fù)，支持配置相應(yīng)回復(fù)話術(shù)。

Tips

調(diào)試方法：初次配置完后，請(qǐng)選擇索引文檔中的一篇作為目標(biāo)，并針對(duì)這篇文章撰寫一個(gè)問題。將問題輸入測(cè)試頁面查看模型返回，如符合預(yù)期可以多測(cè)幾個(gè)；如不符合預(yù)期，可以開啟Debug開關(guān)

然后可以看到多輪對(duì)話鏈路具體日志，如果覺得展示框太小可以復(fù)制出來到其他文本編輯器或者JSON編輯器查看。我們主要關(guān)注”child_execs“里面的內(nèi)容

{
    "start_time":1692850565627,
    "trace_id":"f-s-5NRRqmDDUgkNGFLXw88888",
    "exec_params":{
        "streaming":true,
        "debug":true,
        "async_run":false,
        "session_id":"f-s-5NRRqmDDUgkNGFLXw88888",
        "flow_params":{
            "top_p":"0.7",
            "search_size":3,
            "api_key":"**************",
            "content_fields":"title,content",
            "max_new_tokens":512,
            "temperature":1,
            "rank_model_info":"{"rankModelInfo": {"default": {"features": [{"name": "vector_index", "weights": 0.5, "threshold": 0, "norm": true}, {"name": "static_value", "field": "_rc_t_score", "weights": 0.5, "threshold": 0, "norm": true}], "aggregate_algo": "weight_avg"}}}",
            "human_input":"牧云",
            "custom_config_info":"{"rerankSize": 200, "uqVectorRecallRatio": 0.5}",
            "type":"title,content",
            "fields":"title,content",
            "scene":"dolphin_search_ms_index_es_113_prod"
        },
        "flow_json":null,
        "flow_json_url":"https://******/corp_search.json"
    },
    "exec_result":{
        "result":[
            "對(duì)",
            "不",
            "起",
            "，",
            "現(xiàn)",
            "有",
            "搜",
            "索",
            "結(jié)",
            "果",
            "中",
            "不",
            "包",
            "含",
            "該",
            "問",
            "題",
            "相",
            "關(guān)",
            "內(nèi)",
            "容",
            "，",
            "暫",
            "時(shí)",
            "無",
            "法",
            "提",
            "供",
            "答",
            "案",
            "。"
        ],
        "ext":{

        },
        "output_tokens":null,
        "request_id":null,
        "input_tokens":null,
        "prompt":"{"query": "牧云", "model_id": "daily-top_qad-392", "api_key": "**************", "stream": true, "search_results": [{"id": 1, "content": "\\n產(chǎn)品團(tuán)隊(duì)核心成員曾負(fù)責(zé)阿里云整體內(nèi)部保障，總結(jié)了過去10多年時(shí)間阿里巴巴在企業(yè)安全運(yùn)營(yíng)上的最佳做法，安全運(yùn)營(yíng)團(tuán)隊(duì)?wèi)?yīng)先清晰的知道企業(yè)當(dāng)前面臨的關(guān)鍵挑戰(zhàn)是什么?以及企業(yè)對(duì)風(fēng)險(xiǎn)的容忍度區(qū)間是怎樣的?我們能夠接受什么風(fēng)險(xiǎn)?不能夠接受什么風(fēng)險(xiǎn)?一旦發(fā)生的安全事件超過這個(gè)風(fēng)險(xiǎn)容忍度，將直接導(dǎo)致企業(yè)陷入無法經(jīng)營(yíng)的狀態(tài)，業(yè)務(wù)連續(xù)性受到影響。因此只要能夠證明可真正影響到業(yè)務(wù)的風(fēng)險(xiǎn)才是真實(shí)的安全風(fēng)險(xiǎn)，應(yīng)被列為最高優(yōu)先級(jí)修復(fù)，而所有安全控制措施的唯一目的就是減緩業(yè)務(wù)風(fēng)險(xiǎn)。", "raw_search_result": {"_rc_score": 18.187634, "_q_score": 1.0, "_id": "7606980412276885772_129", "title": "", "_score": 18.187634, "content": "產(chǎn)品團(tuán)隊(duì)核心成員曾負(fù)責(zé)阿里云整體內(nèi)部保障，總結(jié)了過去10多年時(shí)間阿里巴巴在企業(yè)安全運(yùn)營(yíng)上的最佳做法，安全運(yùn)營(yíng)團(tuán)隊(duì)?wèi)?yīng)先清晰的知道企業(yè)當(dāng)前面臨的關(guān)鍵挑戰(zhàn)是什么?以及企業(yè)對(duì)風(fēng)險(xiǎn)的容忍度區(qū)間是怎樣的?我們能夠接受什么風(fēng)險(xiǎn)?不能夠接受什么風(fēng)險(xiǎn)?一旦發(fā)生的安全事件超過這個(gè)風(fēng)險(xiǎn)容忍度，將直接導(dǎo)致企業(yè)陷入無法經(jīng)營(yíng)的狀態(tài)，業(yè)務(wù)連續(xù)性受到影響。因此只要能夠證明可真正影響到業(yè)務(wù)的風(fēng)險(xiǎn)才是真實(shí)的安全風(fēng)險(xiǎn)，應(yīng)被列為最高優(yōu)先級(jí)修復(fù)，而所有安全控制措施的唯一目的就是減緩業(yè)務(wù)風(fēng)險(xiǎn)。"}}, {"id": 2, "content": "\\nWebShell是什么", "raw_search_result": {"_rc_score": 9.906794, "_q_score": 0.5446994369910897, "_id": "5751733942449846217_6", "title": "", "_score": 9.906794, "content": "WebShell是什么"}}, {"id": 3, "content": "\\n1.牧云管理平臺(tái)", "raw_search_result": {"_rc_score": 9.759266, "_q_score": 0.5365879915991272, "_id": "18103204782719913721_10", "title": "", "_score": 9.759266, "content": "1.牧云管理平臺(tái)"}}], "history_messages": [], "temperature": 1.0, "top_p": 0.7, "top_k": 50, "length_penalty": 1.0, "num_doc": 3, "answer_doc": false, "max_new_tokens": 512, "tp_answer": "", "allow_direct_answer": true}"
    },
    "child_execs":[
        {
            "start_time":1692850565683,
            "trace_id":"f-s-5NRRqmDDUgkNGFLXw88888",
            "exec_params":{
                "top_p":0.7,
                "api_key":"**************",
                "stream":false,
                "max_new_tokens":512,
                "query":"牧云",
                "history_messages":[

                ],
                "model_id":"daily-top_qad-392",
                "tp_search":""
            },
            "exec_result":{
                "do_search":true
            },
            "child_execs":null,
            "end_time":1692850566121,
            "exec_name":"search_toggle",
            "exec_status":true,
            "exec_kind":"AI_FLOW_STEP",
            "exec_message":null
        },
        {
            "start_time":1692850566122,
            "trace_id":"f-s-5NRRqmDDUgkNGFLXw88888",
            "exec_params":{
                "top_p":0.7,
                "api_key":"**************",
                "stream":false,
                "max_new_tokens":512,
                "tp_query_rewrite":"",
                "query":"牧云",
                "history_messages":[

                ],
                "model_id":"daily-top_qad-392"
            },
            "exec_result":{
                "queries_r":[
                    "牧云是什么"
                ]
            },
            "child_execs":null,
            "end_time":1692850566617,
            "exec_name":"search_rewrite",
            "exec_status":true,
            "exec_kind":"AI_FLOW_STEP",
            "exec_message":null
        },
        {
            "start_time":1692850566618,
            "trace_id":"f-s-5NRRqmDDUgkNGFLXw88888",
            "exec_params":{
                "customConfigInfo":{
                    "rerankSize":200,
                    "uqVectorRecallRatio":0.5
                },
                "page":1,
                "uq":"牧云是什么",
                "fields":[
                    "content",
                    "title"
                ],
                "rows":3,
                "type":"title,content",
                "scene":"dolphin_search_ms_index_es_113_prod",
                "rankModelInfo":{
                    "rankModelInfo":{
                        "default":{
                            "features":[
                                {
                                    "name":"vector_index",
                                    "threshold":0,
                                    "weights":0.5,
                                    "norm":true
                                },
                                {
                                    "field":"_rc_t_score",
                                    "name":"static_value",
                                    "threshold":0,
                                    "weights":0.5,
                                    "norm":true
                                }
                            ],
                            "aggregate_algo":"weight_avg"
                        }
                    }
                }
            },
            "exec_result":{
                "msg":null,
                "code":200,
                "data":{
                    "headers":{
                        "__d_head_rtm":"1692850566901",
                        "__d_head_sip":"192.168.43.28",
                        "__d_head_es_rt":"t:32",
                        "__d_head_engine_rt":"q:104-s:92-r:7-i:65",
                        "__d_head_ver":"0.0.1-SNAPSHOT"
                    },
                    "debug":null,
                    "data":{
                        "qpInfos":[
                            {
                                "tokenized":[
                                    "牧",
                                    "云",
                                    "是",
                                    "什么"
                                ],
                                "stopWords":[

                                ],
                                "spellcheck":false,
                                "cleanQuery":"牧云是什么",
                                "query":"牧云是什么",
                                "sensitive":false,
                                "synonymWords":[

                                ],
                                "recognitions":[
                                    {
                                        "name":"O",
                                        "text":"牧"
                                    },
                                    {
                                        "name":"O",
                                        "text":"云"
                                    },
                                    {
                                        "name":"O",
                                        "text":"是"
                                    },
                                    {
                                        "name":"O",
                                        "text":"什么"
                                    }
                                ],
                                "spellchecked":"牧云是什么",
                                "rewrite":"牧云是什么",
                                "operator":"AND"
                            }
                        ],
                        "total":89,
                        "docs":[
                            {
                                "_rc_score":18.187634,
                                "_q_score":1,
                                "_id":"7606980412276885772_129",
                                "title":"",
                                "_score":18.187634,
                                "content":"產(chǎn)品團(tuán)隊(duì)核心成員曾負(fù)責(zé)阿里云整體內(nèi)部保障，總結(jié)了過去10多年時(shí)間阿里巴巴在企業(yè)安全運(yùn)營(yíng)上的最佳做法，安全運(yùn)營(yíng)團(tuán)隊(duì)?wèi)?yīng)先清晰的知道企業(yè)當(dāng)前面臨的關(guān)鍵挑戰(zhàn)是什么?以及企業(yè)對(duì)風(fēng)險(xiǎn)的容忍度區(qū)間是怎樣的?我們能夠接受什么風(fēng)險(xiǎn)?不能夠接受什么風(fēng)險(xiǎn)?一旦發(fā)生的安全事件超過這個(gè)風(fēng)險(xiǎn)容忍度，將直接導(dǎo)致企業(yè)陷入無法經(jīng)營(yíng)的狀態(tài)，業(yè)務(wù)連續(xù)性受到影響。因此只要能夠證明可真正影響到業(yè)務(wù)的風(fēng)險(xiǎn)才是真實(shí)的安全風(fēng)險(xiǎn)，應(yīng)被列為最高優(yōu)先級(jí)修復(fù)，而所有安全控制措施的唯一目的就是減緩業(yè)務(wù)風(fēng)險(xiǎn)。"
                            },
                            {
                                "_rc_score":9.906794,
                                "_q_score":0.5446994369910897,
                                "_id":"5751733942449846217_6",
                                "title":"",
                                "_score":9.906794,
                                "content":"WebShell是什么"
                            },
                            {
                                "_rc_score":9.759266,
                                "_q_score":0.5365879915991272,
                                "_id":"18103204782719913721_10",
                                "title":"",
                                "_score":9.759266,
                                "content":"1.牧云管理平臺(tái)"
                            }
                        ],
                        "keywords":[
                            {
                                "schema":"title,content",
                                "name":"全文",
                                "value":"牧云是什么",
                                "fuzzy":true
                            }
                        ],
                        "totalDistinct":89,
                        "extras":null,
                        "aggs":null
                    },
                    "success":true,
                    "rid":null,
                    "message":null,
                    "status":0
                },
                "success":true,
                "requestId":"3C90873D-CAAB-437D-925A-5E8D90E2E746",
                "httpStatusCode":200
            },
            "child_execs":null,
            "end_time":1692850566905,
            "exec_name":"search",
            "exec_status":true,
            "exec_kind":"AI_FLOW_STEP",
            "exec_message":null
        },
        {
            "start_time":1692850570204,
            "trace_id":"f-s-5NRRqmDDUgkNGFLXw88888",
            "exec_params":{
                "top_p":0.7,
                "api_key":"**************",
                "stream":false,
                "max_new_tokens":512,
                "query":null,
                "history_messages":[
                    {
                        "role":"user",
                        "content":"牧云"
                    },
                    {
                        "role":"assistant",
                        "content":"對(duì)不起，現(xiàn)有搜索結(jié)果中不包含該問題相關(guān)內(nèi)容，暫時(shí)無法提供答案。"
                    }
                ],
                "model_id":"daily-top_qad-392"
            },
            "exec_result":{
                "queries_s":[
                    "牧云是什么？",
                    "牧云有哪些特點(diǎn)？",
                    "牧云的優(yōu)勢(shì)是什么？"
                ]
            },
            "child_execs":null,
            "end_time":1692850571168,
            "exec_name":"search_recommend",
            "exec_status":true,
            "exec_kind":"AI_FLOW_STEP",
            "exec_message":null
        }
    ],
    "end_time":null,
    "exec_name":"corp_search.json",
    "exec_status":true,
    "exec_kind":"AI_FLOW",
    "exec_message":null
}

按照以下步驟進(jìn)行排查：

1. 首先看第一個(gè){}框起來的dict里面，do_search是否為false。假如do_search為false，需要檢查您撰寫的query不是一個(gè)需要搜索就能得到答案的，例如”你好“之類。如您默認(rèn)所有query都需要搜索，可以聯(lián)系我們幫您開啟強(qiáng)制搜索開關(guān)。

2. 看第二個(gè){}框起來的dict里面，queries_r是否滿足預(yù)期。queries_r是模型對(duì)于您輸入query的一個(gè)重寫（重新表達(dá)），通常用于多輪對(duì)話時(shí)發(fā)生上下文指代的情況。如您默認(rèn)所有query都不需要此類重寫，可以聯(lián)系我們幫您關(guān)閉重寫。

3. 看第三個(gè){}框起來的dict里面，exec_result->data->docs中前num_docs個(gè)文檔中是否包含了目標(biāo)文檔，如果不包含說明沒搜到。這時(shí)需要您在搜索增強(qiáng)模塊調(diào)試出合適的排序公式，確保對(duì)應(yīng)query能夠搜到目標(biāo)文檔。將調(diào)試好的排序公式填寫進(jìn)來，并單擊保存配置。

4. 在確保目標(biāo)文檔出現(xiàn)在前num_docs個(gè)文檔中之后，如仍然返回不符合預(yù)期的結(jié)果，請(qǐng)調(diào)整LLM參數(shù)配置中相關(guān)生成參數(shù)大小以達(dá)到預(yù)期。

搜索增強(qiáng)參數(shù)配置

{
"field":"_rc_t_score",
"weights":0.25,
"threshold":0
},

{
    "rankModelInfo":{
        "default":{
            "features":[
                {
                    "name":"text_index",
                    "weights":1,
                    "threshold":10,
                    "norm":true
                },
                {
                    "name":"query_match_ratio",
                    "weights":1,
                    "threshold":0,
                    "field":"content"
                }
            ],
            "aggregate_algo":"weight_avg"
        }
    }
}

{
    "rankModelInfo":{
        "default":{
            "features":[
                {
                    "name":"static_value",
                    "field":"_rc_t_score",
                    "weights":1,
                    "threshold":10,
                    "norm":true
                },
                {
                    "name":"vector_index",
                    "weights":1,
                    "threshold":0,
                    "norm":true,
                    "norm_factor":0.001,
                    "score_type": "L2"
                },
                {
                    "name":"query_match_ratio",
                    "weights":1,
                    "threshold":0,
                    "field":"content"
                }
            ],
            "aggregate_algo":"weight_avg"
        }
    }
}

{
    "rankModelInfo": {
        "default": {
            "features": [
                {
                    "name": "static_value",
                    "field": "_rc_t_score",
                    "weights": 1,
                    "threshold": 10,
                    "norm": true
                },
                {
                    "name": "vector_index",
                    "weights": 1,
                    "threshold": 0,
                    "norm": true,
                    "norm_factor": 0.001,
                    "score_type": "L2"
                },
                {
                    "name": "query_match_ratio",
                    "weights": 1,
                    "threshold": 0,
                    "field": "title"
                }
            ],
            "aggregate_algo": "weight_avg"
        }
    },
    "keyword": {
        "features": [
            {
                "name": "query_match_ratio",
                "weights": 1,
                "threshold": 0,
                "field": "content"
            }
        ],
        "aggregate_algo": "weight_avg"
    }
}