Push推送Demo
配置環(huán)境變量
配置環(huán)境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET。
阿里云賬號AccessKey擁有所有API的訪問權(quán)限,建議您使用RAM用戶進(jìn)行API訪問或日常運(yùn)維,具體操作,請參見創(chuàng)建RAM用戶。
創(chuàng)建AccessKey ID和AccessKey Secret,請參考創(chuàng)建AccessKey。
如果您使用的是RAM用戶的AccessKey,請確保主賬號已授權(quán)AliyunServiceRoleForOpenSearch服務(wù)關(guān)聯(lián)角色,請參考OpenSearch-行業(yè)算法版服務(wù)關(guān)聯(lián)角色,相關(guān)文檔參考訪問鑒權(quán)規(guī)則。
請不要將AccessKey ID和AccessKey Secret保存到工程代碼里,否則可能導(dǎo)致AccessKey泄露,威脅您賬號下所有資源的安全。
Linux和macOS系統(tǒng)配置方法:
執(zhí)行以下命令,其中,
<access_key_id>
需替換為您RAM用戶的AccessKey ID,<access_key_secret>
替換為您RAM用戶的AccessKey Secret。export ALIBABA_CLOUD_ACCESS_KEY_ID=<access_key_id> export ALIBABA_CLOUD_ACCESS_KEY_SECRET=<access_key_secret>
Windows系統(tǒng)配置方法
新建環(huán)境變量文件,添加環(huán)境變量ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET,并寫入已準(zhǔn)備好的AccessKey ID和AccessKey Secret。
重啟Windows系統(tǒng)生效。
V3.1 SDK Push方式新增文檔樣例代碼
Push 推送數(shù)據(jù)方式,主要是預(yù)先生成符合我們規(guī)定格式的待推送數(shù)據(jù)集合,最后在調(diào)用Push方法時(shí),將這些數(shù)據(jù)集合一次性批量推送到應(yīng)用中。
注意
推送的數(shù)據(jù)集合必須要符合我們規(guī)定的數(shù)據(jù)集合格式才行,可參考應(yīng)用控制臺->上傳文件->參考樣例數(shù)據(jù),文件中的數(shù)據(jù)集合格式。
也可以在程序中通過JSONObject 及 JSONArray對象,預(yù)先拼接生成符合我們規(guī)定格式的數(shù)據(jù)集合,再調(diào)用Push方法一次性將這些數(shù)據(jù)集合批量推送到應(yīng)用中。
批量推送文檔個(gè)數(shù)不能太大,不能超過我們規(guī)定限制,否則可能會導(dǎo)致推送報(bào)錯(cuò)。
適用場景
動態(tài)拼接數(shù)據(jù)推送場景
單個(gè)文檔推送場景
預(yù)先生成待推送數(shù)據(jù)集合,再批量推送數(shù)據(jù)集合場景
批量數(shù)據(jù)推送場景
package com.aliyun.opensearch;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Lists;
import com.aliyun.opensearch.sdk.dependencies.com.google.common.collect.Maps;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONArray;
import com.aliyun.opensearch.sdk.dependencies.org.json.JSONObject;
import com.aliyun.opensearch.sdk.generated.OpenSearch;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchClientException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchException;
import com.aliyun.opensearch.sdk.generated.commons.OpenSearchResult;
import com.aliyun.opensearch.sdk.generated.document.Command;
import com.aliyun.opensearch.sdk.generated.document.DocumentConstants;
import com.aliyun.opensearch.sdk.generated.search.*;
import com.aliyun.opensearch.sdk.generated.search.general.SearchResult;
import java.io.UnsupportedEncodingException;
import java.nio.charset.Charset;
import java.util.Map;
import java.util.Random;
public class testPushSearch2 {
private String appName = "替換為opensearch應(yīng)用名";
private String tableName = "替換opensearch應(yīng)用表名";
private String host = "替換應(yīng)用的API訪問地址";
public static void main(String[] args) {
//用戶識別信息
//從環(huán)境變量讀取配置的AccessKey ID和AccessKey Secret,運(yùn)行代碼示例前必須先配置環(huán)境變量
String accesskey = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_ID");
String secret = System.getenv("ALIBABA_CLOUD_ACCESS_KEY_SECRET");
//查看文件和默認(rèn)編碼格式
System.out.println(
String.format("file.encoding: %s", System.getProperty("file.encoding"))
);
System.out.println(
String.format("defaultCharset: %s", Charset.defaultCharset().name())
);
//-------------數(shù)據(jù)推送示例代碼-----------------
//生成隨機(jī)數(shù),作為主鍵值
Random rand = new Random();
int value1 = rand.nextInt(Integer.MAX_VALUE);
int value2 = rand.nextInt(Integer.MAX_VALUE);
//定義Map對象存儲上傳文檔數(shù)據(jù),此為文檔1
Map<String, Object> doc1 = Maps.newLinkedHashMap();
doc1.put("id", value1);
String title_string = "新增數(shù)據(jù)Push方式文檔1"; // utf-8
byte[] bytes;
try {
bytes = title_string.getBytes("utf-8");
String utf8_string = new String(bytes, "utf-8");
doc1.put("name", utf8_string);
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
doc1.put("phone", "137****1111");
int[] int_arr = { 11, 11 };
doc1.put("int_arr", int_arr);
String[] literal_arr1 = { "Push方式新增文檔1", "測試Push方式新增文檔1]" };
doc1.put("literal_arr", literal_arr1);
float[] float_arr = { (float) 1.1, (float) 1.1 };
doc1.put("float_arr", float_arr);
doc1.put("cate_id", 1);
JSONObject json1 = new JSONObject();
json1.put(DocumentConstants.DOC_KEY_CMD, Command.ADD.toString());
json1.put(DocumentConstants.DOC_KEY_FIELDS, doc1);
//定義Map對象存儲上傳文檔數(shù)據(jù),此為文檔2
Map<String, Object> doc2 = Maps.newLinkedHashMap();
doc2.put("id", value2);
String title_string2 = "新增數(shù)據(jù)Push方式文檔2"; // utf-8
byte[] bytes2;
try {
bytes2 = title_string2.getBytes("utf-8");
String utf8_string2 = new String(bytes2, "utf-8");
doc2.put("name", utf8_string2);
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
doc2.put("phone", "137****2222");
int[] int_arr2 = { 22, 22 };
doc2.put("int_arr", int_arr2);
String[] literal_arr2 = { "Push方式新增文檔2", "測試Push方式新增文檔2" };
doc2.put("literal_arr", literal_arr2);
float[] float_arr2 = { (float) 2.2, (float) 2.2 };
doc2.put("float_arr", float_arr2);
doc2.put("cate_id", 1);
//新增及更新都設(shè)為ADD,不支持update,當(dāng)已存在相同主鍵值文檔時(shí)做更新,否則新增,此處作為新增
JSONObject json2 = new JSONObject();
json2.put(DocumentConstants.DOC_KEY_CMD, Command.ADD.toString());
json2.put(DocumentConstants.DOC_KEY_FIELDS, doc2);
//定義Map對象測試更新文檔數(shù)據(jù),此為文檔3
Map<String, Object> doc3 = Maps.newLinkedHashMap();
doc3.put("id", value2);
String title_string3 = "更新Push文檔2為doc3"; // utf-8
byte[] bytes3;
try {
bytes3 = title_string3.getBytes("utf-8");
String utf8_string3 = new String(bytes3, "utf-8");
doc3.put("name", utf8_string3);
} catch (UnsupportedEncodingException e) {
e.printStackTrace();
}
doc3.put("phone", "137****3333");
int[] int_arr3 = { 33, 33 };
doc3.put("int_arr", int_arr3);
String[] literal_arr3 = { "更新Push文檔2為doc3", "更新Push文檔2為doc3" };
doc3.put("literal_arr", literal_arr3);
float[] float_arr3 = { (float) 3.3, (float) 3.3 };
doc3.put("float_arr", float_arr3);
doc3.put("cate_id", 1);
//新增及更新都設(shè)為ADD,不支持update,需要已存在相同主鍵值,此處作為更新測試
JSONObject json3 = new JSONObject();
json3.put(DocumentConstants.DOC_KEY_CMD, Command.ADD.toString());
json3.put(DocumentConstants.DOC_KEY_FIELDS, doc3);
//定義Map對象測試更新文檔數(shù)據(jù),此為文檔4,刪除文檔只需要設(shè)置需刪除文檔主鍵值即可,此處測試刪除文檔1
Map<String, Object> doc4 = Maps.newLinkedHashMap();
doc4.put("id", value1);
//此處設(shè)置刪除文檔處理
JSONObject json4 = new JSONObject();
json4.put(DocumentConstants.DOC_KEY_CMD, Command.DELETE.toString());
json4.put(DocumentConstants.DOC_KEY_FIELDS, doc4);
JSONArray docsJsonArr = new JSONArray();
docsJsonArr.put(json1); //新增文檔1
docsJsonArr.put(json2); //新增文檔2
docsJsonArr.put(json3); //更新Push文檔2為doc3
docsJsonArr.put(json4); //刪除文檔1
String docsJson = docsJsonArr.toString();
//創(chuàng)建并構(gòu)造OpenSearch對象
OpenSearch openSearch = new OpenSearch(accesskey, secret, host);
//創(chuàng)建OpenSearchClient對象,并以O(shè)penSearch對象作為構(gòu)造參數(shù)
OpenSearchClient serviceClient = new OpenSearchClient(openSearch);
//定義DocumentClient對象添加json格式doc數(shù)據(jù)批量提交
DocumentClient documentClient = new DocumentClient(serviceClient);
try {
//執(zhí)行推送操作
OpenSearchResult osr = documentClient.push(docsJson, appName, tableName);
//判斷數(shù)據(jù)是否推送成功,主要通過判斷2處,第一處判斷用戶方推送是否成功,第二處是應(yīng)用控制臺中有無報(bào)錯(cuò)日志
//用戶方推送成功后,也有可能在應(yīng)用端執(zhí)行失敗,此錯(cuò)誤會直接在應(yīng)用控制臺錯(cuò)誤日志中生成,比如字段內(nèi)容轉(zhuǎn)換失敗
if (osr.getResult().equalsIgnoreCase("true")) {
System.out.println(
"用戶方推送無報(bào)錯(cuò)!\n以下為getTraceInfo推送請求Id:" +
osr.getTraceInfo().getRequestId()
);
} else {
System.out.println("用戶方推送報(bào)錯(cuò)!" + osr.getTraceInfo());
}
} catch (OpenSearchException e) {
e.printStackTrace();
} catch (OpenSearchClientException e) {
e.printStackTrace();
}
try {
Thread.sleep(1000); //休眠1秒
} catch (InterruptedException e) {
e.printStackTrace();
}
//-------------查詢上面push的文檔-----------------
//創(chuàng)建SearcherClient對象,并以O(shè)penSearchClient對象作為構(gòu)造參數(shù)
SearcherClient searcherClient = new SearcherClient(serviceClient);
//定義Config對象,用于設(shè)定config子句參數(shù),用于分頁或設(shè)置數(shù)據(jù)返回格式
Config config = new Config(Lists.newArrayList(appName));
config.setStart(0);
config.setHits(30);
//設(shè)置返回格式為json,目前只支持返回xml和json格式,暫不支持返回fulljson類型
config.setSearchFormat(SearchFormat.JSON);
// 設(shè)置搜索結(jié)果返回應(yīng)用中哪些字段
config.setFetchFields(
Lists.newArrayList(
"id",
"name",
"phone",
"int_arr",
"literal_arr",
"float_arr",
"cate_id"
)
);
// 創(chuàng)建參數(shù)對象
SearchParams searchParams = new SearchParams(config);
// 設(shè)置查詢子句,若需多個(gè)索引組合查詢,需要setQuery處合并,否則若設(shè)置多個(gè)setQuery后面的會替換前面查詢
searchParams.setQuery("id:'" + value1 + "'|'" + value2 + "'");
// 設(shè)置查詢過濾條件
searchParams.setFilter("cate_id<=3");
// 設(shè)置sort條件
Sort sorter = new Sort();
sorter.addToSortFields(new SortField("id", Order.DECREASE)); //設(shè)置id字段降序
sorter.addToSortFields(new SortField("RANK", Order.INCREASE)); //若id相同則以RANK升序
//添加Sort對象參數(shù)
searchParams.setSort(sorter);
// 執(zhí)行返回查詢結(jié)果
SearchResult searchResult;
try {
searchResult = searcherClient.execute(searchParams);
String result = searchResult.getResult();
JSONObject obj = new JSONObject(result);
// 輸出查詢結(jié)果
System.out.println(obj.toString());
} catch (OpenSearchException e) {
e.printStackTrace();
} catch (OpenSearchClientException e) {
e.printStackTrace();
}
}
}
推送數(shù)據(jù)的時(shí)候,只能包含同表的字段,不能跨表推送。