操作流程

1. 步驟一：環(huán)境準(zhǔn)備

   部署自建Elasticsearch集群、創(chuàng)建OSS Bucket、創(chuàng)建阿里云Elasticsearch集群。

2. 步驟二：安裝elasticsearch-repository-oss插件

   在自建Elasticsearch集群各節(jié)點(diǎn)中安裝elasticsearch-repository-oss插件，插件安裝后才可在自建Elasticsearch中創(chuàng)建OSS倉(cāng)庫(kù)。

3. 步驟三：在自建Elasticsearch集群中創(chuàng)建倉(cāng)庫(kù)

   使用snapshot API在自建Elasticsearch集群中創(chuàng)建快照備份倉(cāng)庫(kù)。

4. 步驟四：為指定索引創(chuàng)建快照

   為需要遷移的索引創(chuàng)建快照，并將快照備份到已創(chuàng)建的倉(cāng)庫(kù)中。

5. 步驟五：在阿里云Elasticsearch上創(chuàng)建相同倉(cāng)庫(kù)

   在阿里云Elasticsearch的Kibana控制臺(tái)中，使用snapshot API創(chuàng)建一個(gè)與自建Elasticsearch集群相同的快照備份倉(cāng)庫(kù)。

6. 步驟六：在阿里云Elasticsearch上恢復(fù)快照

   將倉(cāng)庫(kù)中已備份的自建Elasticsearch集群的快照恢復(fù)到阿里云Elasticsearch集群中，完成數(shù)據(jù)遷移。

7. 步驟七：查看快照恢復(fù)結(jié)果

   快照恢復(fù)后，查看恢復(fù)的索引和索引數(shù)據(jù)。

步驟一：環(huán)境準(zhǔn)備

1. 準(zhǔn)備自建Elasticsearch集群。

   如果您還沒(méi)有自建Elasticsearch集群，建議您使用阿里云ECS進(jìn)行搭建，具體操作步驟請(qǐng)參見(jiàn)安裝并運(yùn)行Elasticsearch。

   說(shuō)明

   建議您使用同VPC下的阿里云ECS搭建自建Elasticsearch集群，通過(guò)自建服務(wù)器搭建集群可能存在網(wǎng)絡(luò)不通的問(wèn)題。

   本文以單節(jié)點(diǎn)集群為例進(jìn)行演示，版本為6.7.0。實(shí)際生產(chǎn)中您可以購(gòu)買多個(gè)相同專有網(wǎng)絡(luò)VPC（Virtual Private Cloud）的ECS實(shí)例搭建多節(jié)點(diǎn)Elasticsearch集群，購(gòu)買ECS的具體步驟請(qǐng)參見(jiàn)自定義購(gòu)買實(shí)例。

2. 開(kāi)通OSS服務(wù)，并創(chuàng)建與部署自建Elasticsearch集群的ECS實(shí)例相同地域的Bucket。

   具體操作步驟請(qǐng)參見(jiàn)開(kāi)通OSS服務(wù)和創(chuàng)建存儲(chǔ)空間。

   重要

   請(qǐng)創(chuàng)建標(biāo)準(zhǔn)存儲(chǔ)類型的OSS Bucket，不支持歸檔存儲(chǔ)類型。

3. 創(chuàng)建目標(biāo)阿里云Elasticsearch實(shí)例，所選地域與您創(chuàng)建的Bucket相同。

   具體操作步驟請(qǐng)參見(jiàn)創(chuàng)建阿里云Elasticsearch實(shí)例。

步驟二：安裝elasticsearch-repository-oss插件

1. 連接自建Elasticsearch集群所在的ECS。

   具體操作請(qǐng)參見(jiàn)通過(guò)密碼或密鑰認(rèn)證登錄Linux實(shí)例。

   說(shuō)明

   本文檔以普通用戶權(quán)限為例。

2. 下載elasticsearch-repository-oss插件。

   本文使用6.7.0版本的插件，要求JDK為11.0及以上版本。

   wget https://github.com/aliyun/elasticsearch-repository-oss/releases/download/v6.7.0/elasticsearch-repository-oss-6.7.0.zip

   說(shuō)明

   如需獲取其他版本的elasticsearch-repository-oss插件，可參見(jiàn)常見(jiàn)問(wèn)題。

3. 將安裝包解壓到自建Elasticsearch各節(jié)點(diǎn)安裝路徑的plugins目錄下。

   sudo unzip -d /usr/local/elasticsearch-6.7.0/plugins/elasticsearch-repository-oss elasticsearch-repository-oss-6.7.0.zip

   您也可以使用命令方式安裝插件。

   sudo ./bin/elasticsearch-plugin install file:///usr/local/elasticsearch-repository-oss-6.7.0.zip

4. 啟動(dòng)自建Elasticsearch集群各節(jié)點(diǎn)。

   cd /usr/local/elasticsearch-6.7.0
   ./bin/elasticsearch -d

步驟三：在自建Elasticsearch集群中創(chuàng)建倉(cāng)庫(kù)

連接自建Elasticsearch集群所在的ECS，執(zhí)行如下命令創(chuàng)建倉(cāng)庫(kù)。

sudo curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName> -d' {"type": "oss", "settings": { "endpoint": "http://oss-cn-hangzhou-internal.aliyuncs.com",  "access_key_id": "<yourAccesskeyId>",  "secret_access_key":"<yourAccesskeySecret>", "bucket": "<yourBucketName>", "compress": true }}'

創(chuàng)建成功后，預(yù)期返回"acknowledge":true。

步驟四：為指定索引創(chuàng)建快照

curl -H "Content-Type: application/json" -XPUT localhost:9200/_snapshot/<yourBackupName>/snapshot_1?pretty -d'
{
"indices": "index1,index2"
}'

<yourBackupName>為您在步驟三：在自建Elasticsearch集群中創(chuàng)建倉(cāng)庫(kù)中創(chuàng)建的倉(cāng)庫(kù)名稱；index1和index2為您需要備份的索引名稱。快照創(chuàng)建成功后，預(yù)期返回"accepted" : true 。

快照創(chuàng)建過(guò)程中，您可以通過(guò)GET /_snapshot/<yourBackupName>/<yourSnapshotName>/_status命令查看指定快照的詳細(xì)信息。當(dāng)返回結(jié)果中的state為SUCCESS時(shí)，表示快照已完成。

步驟五：在阿里云Elasticsearch上創(chuàng)建相同倉(cāng)庫(kù)

1. 登錄目標(biāo)阿里云Elasticsearch實(shí)例的Kibana控制臺(tái)，根據(jù)頁(yè)面提示進(jìn)入Kibana主頁(yè)。
   登錄Kibana控制臺(tái)的具體操作，請(qǐng)參見(jiàn)登錄Kibana控制臺(tái)。

   說(shuō)明 本文以阿里云Elasticsearch 6.7.0版本為例，其他版本操作可能略有差別，請(qǐng)以實(shí)際界面為準(zhǔn)。
2. 在左側(cè)導(dǎo)航欄，單擊Dev Tools。

3. 在Console中執(zhí)行以下命令，創(chuàng)建與自建Elasticsearch相同的倉(cāng)庫(kù)。

   PUT _snapshot/<yourBackupName>
   {
       "type": "oss",
       "settings": {
           "endpoint": "oss-cn-hangzhou-internal.aliyuncs.com",
           "access_key_id": "<yourAccesskeyId>",
           "secret_access_key": "<yourAccesskeySecret>",
           "bucket": "<yourBucketName>",
           "compress": true
       }
   }

   <yourBackupName>和<yourBucketName>需要與步驟三：在自建Elasticsearch集群中創(chuàng)建倉(cāng)庫(kù)中保持一致。

步驟六：在阿里云Elasticsearch上恢復(fù)快照

POST _snapshot/es_backup/snapshot_1/_restore
{"indices":"*,-.monitoring*,-.security_audit*","ignore_unavailable":"true"}

命令執(zhí)行成功，預(yù)期返回"accepted" : true。

POST _snapshot/es_backup/snapshot_1/_restore
{
  "indices":"index1",
  "rename_pattern": "index(.+)",
  "rename_replacement": "restored_index_$1"
}

步驟七：查看快照恢復(fù)結(jié)果

常見(jiàn)問(wèn)題

Q：如何獲取其他版本的elasticsearch-repository-oss插件？