scroll用法及場景

由于search的方法不能召回超過5000個結果，因此可以使用scroll方法，導出全部數據。

注意：

• scroll僅支持導出所有數據，不支持Aggregate,Distinct,Rank子句。

• scroll方法中的config子句start參數不起作用，默認為0. 即不支持跳頁。hits限制為[0,500]。

• 第一次執行時不返回文檔數據，只返回scroll_id值，第二次調用查詢時設置scroll_id，即返回數據。

搜索報錯判斷：用戶需按code和message，進行異常情況判斷，不要按status進行判斷。code對應的錯誤信息查看——錯誤碼文檔。

SDK樣例Demo:

package com.aliyun.opensearch;

import com.aliyun.opensearch.OpenSearchClient;
import com.aliyun.opensearch.SearcherClient;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONObject;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.sdk.generated.search.general.SearchResult;
import com.aliyun.opensearch.search.SearchParamsBuilder;
import java.nio.charset.Charset;

public class testScroll {

  //受引擎性能影響，Scroll不支持Aggregate,Distinct,Rank子句，支持單字段sort子句
  private static String appName = "替換為opensearch應用名";
  private static String host = "替換應用的API訪問地址";

  public static void main(String[] args) {
    //用戶識別信息
    //從環境變量讀取配置的AccessKey ID和AccessKey Secret，運行代碼示例前必須先配置環境變量
    String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
    String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");

    //查看文件和默認編碼格式
    System.out.println(
      String.format("file.encoding: %s", System.getProperty("file.encoding"))
    );
    System.out.println(
      String.format("defaultCharset: %s", Charset.defaultCharset().name())
    );

    //創建并構造OpenSearch對象
    OpenSearch openSearch = new OpenSearch(accesskey, secret, host);

    //創建OpenSearchClient對象，并以OpenSearch對象作為構造參數
    OpenSearchClient serviceClient = new OpenSearchClient(openSearch);

    //創建SearcherClient對象，并以OpenSearchClient對象作為構造參數
    SearcherClient searcherClient = new SearcherClient(serviceClient);

    //定義Config對象，用于設定config子句參數，分頁，數據返回格式，應用名等等
    Config config = new Config(Lists.newArrayList(appName));

    //config.setStart(start) scroll該參數不起作用，默認為0
    config.setHits(5); //設置每頁為5條記錄

    //設置返回格式為FULLJSON,目前scroll只支持返回JSON和FULLJSON格式
    config.setSearchFormat(SearchFormat.FULLJSON);

    // 設置搜索結果返回應用中哪些字段
    config.setFetchFields(
      Lists.newArrayList(
        "id",
        "name",
        "phone",
        "int_arr",
        "literal_arr",
        "float_arr",
        "cate_id"
      )
    );
    // 注意：config子句中的rerank_size參數，在Rank類對象中設置

    // 創建參數對象
    SearchParams searchParams = new SearchParams(config);

    // 設置查詢子句，若需多個索引組合查詢，需要setQuery處合并，否則若設置多個setQuery后面的會替換前面查詢
    searchParams.setQuery("name:'opensearch'");

    // 設置查詢過濾條件
    //searchParams.setFilter("cate_id<=3"); //此處也可改用后面的ParamsBuilder實現添加過濾條件

    // 設置sort條件
    Sort sorter = new Sort();
    sorter.addToSortFields(new SortField("id", Order.DECREASE)); //設置id字段降序

    //添加Sort對象參數
    searchParams.setSort(sorter);

    //設置scroll方式查詢
    DeepPaging deep = new DeepPaging();
    //不設置默認為1m表示1分鐘，該參數表示本次返回的scrollid的有效期
    deep.setScrollExpire("3m");

    //添加DeepPaging對象參數
    searchParams.setDeepPaging(deep);

    // SearchParams的工具類，提供了更為便捷的操作
    SearchParamsBuilder paramsBuilder = SearchParamsBuilder.create(
      searchParams
    );

    // 設置查詢過濾條件
    //        paramsBuilder.addFilter("cate_id<=0", "AND");

    // 執行返回查詢結果。用戶需按code和message，進行異常情況判斷，不要按status進行判斷。code對應的錯誤信息查看——錯誤碼文檔。
    SearchResult searchResult;
    try {
      searchResult = searcherClient.execute(paramsBuilder);
      String result = searchResult.getResult();
      JSONObject obj = new JSONObject(result);

      // 假設數據庫中只有25條，且每頁展示5條，則第6次打印出來items數據為空
      for (int i = 1; i <= 6; i++) {
        //第一次執行不返回數據，主要返回scroll_id值，第二次調用查詢時設置scroll_id
        deep.setScrollId(
          new JSONObject(obj.get("result").toString())
            .get("scroll_id")
            .toString()
        );
        deep.setScrollExpire("3m"); //不設置默認為1m表示1分鐘，如不想使用默認值，每次重新調用前必須要重新設置下
        searchResult = searcherClient.execute(paramsBuilder);
        result = searchResult.getResult();
        obj = new JSONObject(result);

        // 輸出查詢結果
        System.out.println("第" + i + "次執行:" + obj.get("result"));
        try {
          Thread.sleep(1000);
        } catch (InterruptedException e) {
          e.printStackTrace();
        } //休眠1秒，防止qps請求過高報錯
      }
    } catch (OpenSearchException e) {
      e.printStackTrace();
    } catch (OpenSearchClientException e) {
      e.printStackTrace();
    }
  }
}