scroll迭代查詢Demo
配置環(huán)境變量
配置環(huán)境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。
阿里云賬號(hào)AccessKey擁有所有API的訪問權(quán)限,建議您使用RAM用戶進(jìn)行API訪問或日常運(yùn)維,具體操作,請(qǐng)參見創(chuàng)建RAM用戶。
創(chuàng)建AccessKey ID和AccessKey Secret,請(qǐng)參考創(chuàng)建AccessKey。
如果您使用的是RAM用戶的AccessKey,請(qǐng)確保主賬號(hào)已授權(quán)AliyunServiceRoleForOpenSearch服務(wù)關(guān)聯(lián)角色,請(qǐng)參考OpenSearch-行業(yè)算法版服務(wù)關(guān)聯(lián)角色,相關(guān)文檔參考訪問鑒權(quán)規(guī)則。
請(qǐng)不要將AccessKey ID和AccessKey Secret保存到工程代碼里,否則可能導(dǎo)致AccessKey泄露,威脅您賬號(hào)下所有資源的安全。
Linux和macOS系統(tǒng)配置方法:
執(zhí)行以下命令,其中,
<access_key_id>
需替換為您RAM用戶的AccessKey ID,<access_key_secret>
替換為您RAM用戶的AccessKey Secret。export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id> export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>
Windows系統(tǒng)配置方法
新建環(huán)境變量文件,添加環(huán)境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET,并寫入已準(zhǔn)備好的AccessKey ID和AccessKey Secret。
重啟Windows系統(tǒng)生效。
V4.0.0 SDK Scroll迭代方式搜索文檔樣例代碼
該Scroll迭代方式,省去了反復(fù)設(shè)置scrollID的操作。(scroll查詢方法,目前不支持Aggregate,Distinct,Rank子句,僅支持單字段sort。)
搜索報(bào)錯(cuò)判斷:用戶需按code和message,進(jìn)行異常情況判斷,不要按status進(jìn)行判斷。code對(duì)應(yīng)的錯(cuò)誤信息查看——錯(cuò)誤碼文檔。
SDK樣例Demo:
package com.aliyun.opensearch;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.search.DeepPageingIterator;
import java.nio.charset.Charset;
public class testScrollIterator {
//Scroll不支持Aggregate,Distinct,Rank子句;支持單字段sort
private static String appName = "替換為opensearch應(yīng)用名";
private static String tableName = "替換opensearch應(yīng)用表名";
private static String host = "替換應(yīng)用的API訪問地址";
public static void main(String[] args) {
//用戶識(shí)別信息
//從環(huán)境變量讀取配置的AccessKey ID和AccessKey Secret,運(yùn)行代碼示例前必須先配置環(huán)境變量
String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
//查看文件和默認(rèn)編碼格式
System.out.println(String.format("file.encoding: %s", System.getProperty("file.encoding")));
System.out.println(String.format("defaultCharset: %s", Charset.defaultCharset().name()));
//創(chuàng)建并構(gòu)造OpenSearch對(duì)象
OpenSearch openSearch = new OpenSearch(accesskey, secret, host);
//創(chuàng)建OpenSearchClient對(duì)象,并以O(shè)penSearch對(duì)象作為構(gòu)造參數(shù)
OpenSearchClient serviceClient = new OpenSearchClient(openSearch);
//創(chuàng)建SearcherClient對(duì)象,并以O(shè)penSearchClient對(duì)象作為構(gòu)造參數(shù)
SearcherClient searcherClient = new SearcherClient(serviceClient);
//定義Config對(duì)象,用于設(shè)定config子句參數(shù),分頁(yè),數(shù)據(jù)返回格式,應(yīng)用名等等
Config config = new Config(Lists.newArrayList(appName));
//config.setStart(start) scroll該參數(shù)不起作用,默認(rèn)為0
config.setHits(5);//設(shè)置每頁(yè)為5條記錄
//設(shè)置返回格式為FULLJSON,目前scroll只支持返回JSON和FULLJSON格式
config.setSearchFormat(SearchFormat.FULLJSON);
// 設(shè)置搜索結(jié)果返回應(yīng)用中哪些字段
config.setFetchFields(Lists.newArrayList("id", "name", "phone", "int_arr", "literal_arr", "float_arr", "cate_id"));
// 注意:config子句中的rerank_size參數(shù),在Rank類對(duì)象中設(shè)置
// 創(chuàng)建參數(shù)對(duì)象
SearchParams searchParams = new SearchParams(config);
// 設(shè)置查詢子句,若需多個(gè)索引組合查詢,需要setQuery處合并,否則若設(shè)置多個(gè)setQuery后面的會(huì)替換前面查詢
searchParams.setQuery("name:'opensearch'");
// 設(shè)置查詢過濾條件
//searchParams.setFilter("cate_id<=3"); //此處也可改用后面的ParamsBuilder實(shí)現(xiàn)添加過濾條件
// 設(shè)置sort條件
Sort sorter = new Sort();
sorter.addToSortFields(new SortField("id", Order.DECREASE)); //設(shè)置id字段降序
//添加Sort對(duì)象參數(shù)
searchParams.setSort(sorter);
//設(shè)置scroll方式查詢
DeepPaging deep =new DeepPaging();
//添加DeepPaging對(duì)象參數(shù)
searchParams.setDeepPaging(deep);
//使用DeepPageingIterator迭代操作起來會(huì)方便很多,可以不用管scroll_id之類的東西.
DeepPageingIterator pagesIterator = new DeepPageingIterator(searcherClient, searchParams);
//迭代器默認(rèn)的迭代間隔是100毫秒. 此設(shè)計(jì)是為防止翻頁(yè)速度太快對(duì)我們這邊造成壓力. 當(dāng)然可以改變這個(gè)迭代間隔,如下所示.
//pagesIterator.setPagingIntervals(80);//單位:ms
//用戶需按errors中的code和message進(jìn)行異常情況判斷,不要按status進(jìn)行判斷。code對(duì)應(yīng)的錯(cuò)誤信息查看——錯(cuò)誤碼文檔。
try{
System.out.println("test");
while (pagesIterator.hasNext()) {
System.out.println("調(diào)試信息輸出:"+pagesIterator.next());
}
}catch(Exception ex){
System.out.println("調(diào)試報(bào)錯(cuò)信息:"+ex.getMessage());
}
}
}