遷移方案選取指南
您可以通過Logstash、reindex和OSS等多種方式完成阿里云Elasticsearch間數(shù)據(jù)遷移、Elasticsearch數(shù)據(jù)遷移至Openstore存儲(chǔ)中、自建Elasticsearch數(shù)據(jù)遷移至阿里云和第三方Elasticsearch遷移至阿里云。本文介紹各遷移場(chǎng)景對(duì)應(yīng)的遷移方案、適用場(chǎng)景和使用限制,幫助您根據(jù)業(yè)務(wù)選擇合適的方案進(jìn)行遷移。
2020年10月,阿里云Elasticsearch對(duì)網(wǎng)絡(luò)架構(gòu)進(jìn)行了調(diào)整。2020年10月之前為舊網(wǎng)絡(luò)架構(gòu),2020年10月及之后為新網(wǎng)絡(luò)架構(gòu)。新網(wǎng)絡(luò)架構(gòu)下的實(shí)例不支持與舊網(wǎng)絡(luò)架構(gòu)下的實(shí)例進(jìn)行跨集群reindex、跨集群搜索、跨集群復(fù)制等實(shí)例互通操作。如果需要進(jìn)行互通,需要確保實(shí)例創(chuàng)建在同一網(wǎng)絡(luò)架構(gòu)下。對(duì)于華北3(張家口)和海外地域,由于網(wǎng)絡(luò)架構(gòu)調(diào)整時(shí)間不確定,因此需要提交工單,聯(lián)系阿里云Elasticsearch技術(shù)支持,校驗(yàn)網(wǎng)絡(luò)是否可以互通。
建議不要遷移以
.
開頭的系統(tǒng)索引,例如.monitoring、.kibana、.security等,否則可能導(dǎo)致Kibana出現(xiàn)故障。
遷移場(chǎng)景:阿里云Elasticsearch實(shí)例間數(shù)據(jù)遷移
遷移方案 | 適用場(chǎng)景 | 使用限制 | 場(chǎng)景示例 |
OSS快照 |
|
|
|
Logstash |
|
| |
reindex |
| 兩個(gè)Elasticsearch集群在同一網(wǎng)絡(luò)架構(gòu)下,詳細(xì)信息請(qǐng)參見注意事項(xiàng)。 | |
elasticsearch-dump工具 | 數(shù)據(jù)量較小,索引數(shù)量不多的遷移場(chǎng)景。 | 源Elasticsearch集群、目標(biāo)Elasticsearch集群、安裝elasticsearch-dump工具的服務(wù)器的網(wǎng)絡(luò)要互通。 | |
OSS快照結(jié)合reindex |
| 中間版本與原版本和目標(biāo)版本都滿足版本兼容性要求。詳細(xì)信息,請(qǐng)參見elastic版本間的改變及兼容性文檔。 |
|
遷移場(chǎng)景:將Elasticsearch數(shù)據(jù)遷移至Openstore存儲(chǔ)中
遷移方案 | 適用場(chǎng)景 | 使用限制 | 場(chǎng)景示例 |
OSS快照 | 將自建或阿里云商業(yè)版Elasticsearch集群中的數(shù)據(jù)遷移到Openstore自定義冷熱分離存儲(chǔ)中的場(chǎng)景。 |
| |
手動(dòng)備份 | 將自建或阿里云商業(yè)版Elasticsearch集群中的數(shù)據(jù)遷移到OpenStore智能混合存儲(chǔ)中的場(chǎng)景。 | 云對(duì)象存儲(chǔ)OSS中Bucket的地域與Elasticsearch實(shí)例的地域保持一致。 |
遷移場(chǎng)景:自建Elasticsearch遷移至阿里云
遷移方案 | 適用場(chǎng)景 | 使用限制 | 場(chǎng)景示例 |
OSS快照 |
|
| |
Logstash |
|
| |
reindex |
| 兩個(gè)Elasticsearch集群在同一網(wǎng)絡(luò)架構(gòu)下,詳細(xì)信息請(qǐng)參見注意事項(xiàng)。 | |
elasticsearch-dump工具 | 數(shù)據(jù)量較小,索引數(shù)量不多的遷移場(chǎng)景。 | 源Elasticsearch集群、目標(biāo)Elasticsearch集群、安裝elasticsearch-dump工具的服務(wù)器的網(wǎng)絡(luò)要互通。 |
遷移場(chǎng)景:第三方Elasticsearch遷移至阿里云
遷移方案 | 適用場(chǎng)景 | 使用限制 | 場(chǎng)景示例 |
Logstash |
|
| |
OSS快照 | 源端數(shù)據(jù)量較大(GB、TB、PB級(jí)別)的場(chǎng)景。 | 通過OSS快照方式遷移增量數(shù)據(jù),可能需要停止服務(wù)。且在新集群恢復(fù)增量數(shù)據(jù)時(shí),需要關(guān)閉索引。 | 將Amazon OpenSearch Service中的Elasticsearch索引遷移至阿里云 說明 該方案不局限云服務(wù)廠商,均依賴ES快照機(jī)制實(shí)現(xiàn)。例如,使用阿里云在線遷移(遷移實(shí)施)將存儲(chǔ)在騰訊云COS的ES快照數(shù)據(jù)遷移到阿里云OSS,參考阿里云ES快照恢復(fù)OSS倉庫快照數(shù)據(jù)。具體操作,請(qǐng)參見手動(dòng)備份與恢復(fù)。 ES快照遷移僅支持低版本向高版本或同版本遷移恢復(fù),詳見快照兼容性。 |
elasticsearch-dump工具 | 數(shù)據(jù)量較小,索引數(shù)量不多的遷移場(chǎng)景。 | 源Elasticsearch集群、目標(biāo)Elasticsearch集群、安裝elasticsearch-dump工具的服務(wù)器的網(wǎng)絡(luò)要互通。 |