API 數(shù)據(jù)源
本文將介紹以API為數(shù)據(jù)源時(shí)如何添加表。
添加表
在實(shí)例詳情>表管理頁,點(diǎn)擊添加表:
填寫表的基礎(chǔ)信息,點(diǎn)擊下一步:
配置說明:
表名稱:可自定義
數(shù)據(jù)分片數(shù):分片數(shù)設(shè)置時(shí),請(qǐng)?zhí)顚懖怀^256的正整數(shù), 用于提升全量構(gòu)建速度、單次查詢性能。(部分存量實(shí)例,仍需各索引表分片數(shù)保持一致;或至少一個(gè)索引表分片數(shù)為1,其余索引表分片數(shù)一致)
數(shù)據(jù)更新資源數(shù):數(shù)據(jù)更新所用資源數(shù),每個(gè)索引默認(rèn)免費(fèi)提供2個(gè)4核8G的更新資源,超出免費(fèi)額度的資源將產(chǎn)生費(fèi)用,詳情可參考向量檢索版計(jì)費(fèi)概述
場景模板:向量檢索版內(nèi)置了3種模板可供用戶選擇:通用、向量-圖片搜索、向量-文本語義模板
數(shù)據(jù)同步,配置數(shù)據(jù)源,點(diǎn)擊下一步:
配置參數(shù)說明:
數(shù)據(jù)源類型:選擇API推送數(shù)據(jù)源,表示用戶的數(shù)據(jù)通過API的方式推送至實(shí)例中
字段配置,配置完成后,點(diǎn)擊下一步:
必選字段有:主鍵字段和向量字段,主鍵字段為int或string類型并且需要勾選主鍵按鈕,向量字段為float類型并且需要勾選向量字段按鈕;
向量字段默認(rèn)為多值的float類型,多值分隔符默認(rèn)使用ha3分割符^] 進(jìn)行切分(其對(duì)應(yīng)utf編碼為\x1D),也可以輸入自定義多值分隔符
當(dāng)數(shù)據(jù)中缺少字段或字段為空時(shí),系統(tǒng)將自動(dòng)補(bǔ)充默認(rèn)值,數(shù)字類型默認(rèn)補(bǔ)0,STRING類型默認(rèn)補(bǔ)空字符串,支持自定義默認(rèn)值
索引結(jié)構(gòu)配置,配置完成后,點(diǎn)擊下一步:
此處主要針對(duì)向量索引進(jìn)行配置:
主鍵字段、向量字段必須填寫,命名空間字段非必填,可以為空。
僅支持選擇固定的三個(gè)字段,不支持新增。
向量維度:根據(jù)模型生成的向量按需選擇
向量距離:根據(jù)模型生成的向量按需選擇,系統(tǒng)支持的距離類型有兩種:SquareEuclidean和InnerProduct
向量索引算法:根據(jù)模型生成的向量按需選擇,系統(tǒng)支持的向量索引算法有量化聚類(Quantized Clustering)、linear、HNSW(Hierarchical Navigable Small World)
實(shí)時(shí)索引:表示API的增量數(shù)據(jù)是否需要實(shí)時(shí)構(gòu)建向量索引,默認(rèn)為true
其他高級(jí)配置,可點(diǎn)擊展開進(jìn)行配置,參數(shù)說明可參考向量索引通用配置:
確認(rèn)創(chuàng)建,點(diǎn)擊確認(rèn)創(chuàng)建后,系統(tǒng)將自動(dòng)創(chuàng)建配置好的表:
可在變更歷史中查看創(chuàng)建表進(jìn)度:
當(dāng)表狀態(tài)在使用中時(shí),即可在查詢測試頁面進(jìn)行查詢測試:
注意事項(xiàng)
API數(shù)據(jù)源索引重建時(shí)會(huì)將以前推送的數(shù)據(jù)清空,從指定的時(shí)間戳開始追實(shí)時(shí)數(shù)據(jù),所以API數(shù)據(jù)源全量要慎重。