開通OSS服務
添加OSS數據源
進入OpenSearch控制臺,在左上角切換到OpenSearch-召回引擎版,在實例管理頁面對應的列表中找到所屬實例,點擊操作欄中的管理:
配置數據源。
在左側導航欄,選擇配置中心>數據源,點擊添加數據源,選擇對象存儲OSS,輸入數據源名稱,OSS路徑,存儲空間,然后點擊校驗即可:
參數說明:
數據源名稱:可自定義數據源名稱(需字母開頭,支持字母數字下劃線)
OSS路徑:訪問OSS文件的路徑
存儲空間(Bucket):OSS的Bucket名稱
目錄名必須包含opensearch,否則將無法讀到數據,且不可包含 = & ?等特殊符號
OSS路徑來源:在創建好的Bucket名稱點擊進入后-新建目錄-選擇創建好的目錄路徑,此處示例路徑為/opensearch_index_data/:
存儲空間(Bucket) :OSS的Bucket名稱(來源:在開通的OSS服務Bucket里使用創建好的Bucket名稱-如下圖所示)
添加索引表:
OSS數據源創建好后,在配置中心>索引結構添加索引表
配置索引表,索引表名稱可自定義,數據源選擇配置好的OSS數據源:
案例中配置了2個字段pk、embeddings,樣例數據可參考(樣本數據:oss_test.txt)
CMD=add
pk=999000
embeddings=0.00.0039257140.0098142860.0039257140.00
pk=999000
embeddings=0.00.0039257140
HA schema的數據格式可參考下方HA文件格式。
索引重建,在運維中心>運維管理>索引重建頁面中觸發索引重建:
索引重建完成后,即可進行查詢測試。
HA文件格式
文件是建立索引的數據源(注意:需要是utf-8的編碼),有著固定的格式,下面介紹標準的輸入格式。
首先看一個完整的數據文件standard_sample.data的內容
CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里云計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里云計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
CMD=delete^_
PK=12345321^_
可以看到上面的數據文件中總共有兩個命令,分別是add、delete每個命令由多行組成,每行都是一個key-value對。 命令與命令之間用'^^\n'分隔,每一對key-value之間以'^_\n'分隔,多值之間以'^]'分隔。下面詳細介紹。
文件分隔符定義
C++編碼 | ASCII 16進制 | 描述 | (emacs/vi)中的顯示形態 | emacs中輸入方法 | vi中輸入方法 |
"\x1F\n" | 1F0A | key value分隔符 | ^_(接換行) | C-q C-7 | C-v C-7 |
"\x1E\n" | 1E0A | 命令分隔符 | ^^(接換行) | C-q C-6 | C-v C-6 |
"\x1D" | 1D | multi value 分隔符 | ^] | C-q C-5 | C-v C-5 |
"\x1C" | 1C | section weight標志符 | ^\ | C-q C-4 | C-v C-4 |
"\x1D" | 1D | section 分隔符 | ^] | C-q C-5 | C-v C-5 |
"\x03" | 03 | sub doc 字段分隔符 | ^C | C-q C-c | C-v C-c |
命令格式定義
Add command format
add命令表示往索引中增加新的內容。
add命令第一行必須為CMD=add,后面是該文檔的field,field順序可以與schema中fields順序一致,所有出現的field必須是fields中指定的。
CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里云計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^CMD=add^_
PK=12345321^_
url=http://www.aliyun.com/index.html^_
title=阿里云計算有限公司^_
body=xxxxxx xxx^_
time=3123423421^_
multi_value_field=1234^]324^]342^_
bidwords=mp3^\price=35.8^Ptime=13867236221^]mp4^\price=32.8^Ptime=13867236221^_
^^
Delete command format
delete命令表示從索引中刪除指定的內容。
delete命令第一"行"必須為CMD=delete,接下來的"行"為index schema中定義屬性為primary key 的field,以及用于
partition hash的field,如果兩個field相同,則只需要出現一個field。
CMD=delete^_
PK=12345321^_
^^CMD=delete^_
PK=12345321^_
^^
刪除OSS數據源
在數據源配置頁面,找到需要刪除的數據源,點擊刪除即可:
注意:
數據源刪除后將無法恢復,請謹慎操作:
如果OSS數據源已經配置了索引表,需先刪除索引表,才能刪除該OSS數據源。
注意事項
開通的OSS服務,需要和已購買的OpenSearch服務在同一個地域
召回引擎版不支持無地域屬性的OSS的bucket
執行新增OSS數據源操作時,將會自動創建一個服務關聯角色(如已經創建,則不會重復創建)AliyunServiceRoleForSearchEngine,開放搜索使用此角色來訪問您在其他云產品中的資源已完成相應功能。