為了快速實(shí)現(xiàn)自建Elasticsearch集群遷移上云、集群索引重建(reindex)和跨集群數(shù)據(jù)遷移,阿里云Elasticsearch提供了一鍵索引遷移功能。本文介紹一鍵索引遷移功能的應(yīng)用場(chǎng)景及使用方法。
前提條件
已創(chuàng)建滿足條件的源和目標(biāo)端Elasticsearch集群:
- 源端為6.7.0版本的自建或阿里云Elasticsearch集群。
- 目標(biāo)端為6.3.2或6.7.0版本的阿里云Elasticsearch集群。
創(chuàng)建阿里云Elasticsearch集群的具體操作,請(qǐng)參見創(chuàng)建阿里云Elasticsearch實(shí)例。
重要 如果您需要進(jìn)行跨賬號(hào)遷移,那么在創(chuàng)建阿里云Elasticsearch集群時(shí),源端和目標(biāo)端必須在同一專有網(wǎng)絡(luò)下。
使用限制
阿里云Elasticsearch集群需要滿足以下條件,才會(huì)顯示一鍵索引遷移功能入口:
- 版本:6.3.2或6.7.0版本
- 地域:華北2(北京)地域
- 集群創(chuàng)建時(shí)間:2023年2月15日之前創(chuàng)建的集群
重要 一鍵索引遷移功能即將進(jìn)入升級(jí)維護(hù)狀態(tài),產(chǎn)品將關(guān)閉該功能入口。待升級(jí)完成后,會(huì)通過產(chǎn)品動(dòng)態(tài)告知,請(qǐng)耐心等待。目前推薦您使用快照、reindex、Logstash等方式進(jìn)行集群遷移數(shù)據(jù),詳細(xì)信息請(qǐng)參見遷移方案選取指南。
應(yīng)用場(chǎng)景
- 同集群索引重建(reindex)。支持修改索引的主分片數(shù)量和Mapping。
- 阿里云Elasticsearch集群間,批量或單個(gè)索引遷移。
- 自建Elasticsearch集群與阿里云Elasticsearch集群間,批量或單個(gè)索引遷移。
操作步驟
- 登錄阿里云Elasticsearch控制臺(tái)。
- 在左側(cè)導(dǎo)航欄,單擊Elasticsearch實(shí)例。
- 進(jìn)入目標(biāo)實(shí)例。
- 在頂部菜單欄處,選擇資源組和地域。
- 在Elasticsearch實(shí)例中單擊目標(biāo)實(shí)例ID。
- 在基本信息頁面,選擇右上角的 。阿里云Elasticsearch集群需要滿足以下條件,才會(huì)顯示一鍵索引遷移功能入口:
- 版本:6.3.2或6.7.0版本
- 地域:華北2(北京)地域
- 在一鍵索引遷移頁面,選擇源和目標(biāo)Elasticsearch集群。所選遷移方式不同,源端集群的要求不同,具體如下。說明 目標(biāo)端集群為當(dāng)前集群,集群ID和版本(僅支持6.3.2和6.7.0)不可變更,僅需填入用戶名和密碼。在配置時(shí),需要重點(diǎn)關(guān)注源端。
- 從現(xiàn)有阿里云Elasticsearch集群遷移
參數(shù) 說明 選擇源集群 選擇與目標(biāo)端集群在同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch實(shí)例的ID。 源集群版本 僅支持6.7.0版本。 用戶名 阿里云Elasticsearch的用戶名,默認(rèn)為elastic。 密碼 elastic用戶的密碼。一般在創(chuàng)建實(shí)例時(shí)設(shè)定,如果忘記可重置,詳情請(qǐng)參見重置實(shí)例訪問密碼。 - 從自建Elasticsearch集群遷移
集群類型不同,需要配置的參數(shù)不同。當(dāng)集群類型為專有網(wǎng)絡(luò)下的自建集群時(shí),源端集群需要選擇與目標(biāo)端集群在同一地域中,任意專有網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群(僅支持6.7.0版本);當(dāng)集群類型為開啟公網(wǎng)訪問的自建集群時(shí),源端集群需要選擇任意公網(wǎng)網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群(僅支持6.7.0版本)。詳細(xì)參數(shù)說明如下。
集群類型 參數(shù) 說明 專有網(wǎng)絡(luò)下的自建集群 所在區(qū)域 集群所在地域,需要與目標(biāo)端實(shí)例保持一致。 專有網(wǎng)絡(luò) 集群所在的專有網(wǎng)絡(luò)ID。不需要與目標(biāo)端實(shí)例保持一致。 源集群訪問IP 專有網(wǎng)絡(luò)下,集群中任一節(jié)點(diǎn)的IP地址,例如192.168.xx.xx。 端口 集群的訪問端口,例如9200。 用戶名(選填) 如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證,則需要輸入用戶名和密碼。 密碼(選填) 對(duì)應(yīng)用戶的密碼。 開啟公網(wǎng)訪問的自建集群 源集群公網(wǎng)訪問地址 集群的公網(wǎng)訪問地址,例如http://10.37.xx.xx:9200。如果為阿里云Elasticsearch集群,需要配置為http://<集群的外網(wǎng)地址>:9200。 用戶名(選填) 如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證,則需要輸入用戶名和密碼。 密碼(選填) 對(duì)應(yīng)用戶的密碼。
選擇了源端和目標(biāo)端集群后,您可以進(jìn)行連通性測(cè)試。如果不通過,可以從以下幾方面排查:- 如果源端是阿里云ECS上自建的Elasticsearch集群,需要檢查阿里云ECS實(shí)例的安全組是否對(duì)外開放9200端口。如果沒有開放,請(qǐng)參見添加安全組規(guī)則,開放9200端口。
- 檢查源端和目標(biāo)端集群的白名單是否有限制。如果有限制,請(qǐng)取消限制或修改白名單配置。具體操作,請(qǐng)參見配置實(shí)例公網(wǎng)或私網(wǎng)訪問白名單。
- 阿里云Elasticsearch的用戶名默認(rèn)為elastic,請(qǐng)檢查用戶名和密碼是否配置正確。重要 如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證(即用戶必須通過用戶名和密碼認(rèn)證,才被允許訪問集群。無論是通過Kibana、客戶端還是API等方式訪問集群,都需要經(jīng)過認(rèn)證),則需要輸入用戶名和密碼,否則可能導(dǎo)致遷移任務(wù)失敗。
- 從現(xiàn)有阿里云Elasticsearch集群遷移
- 單擊下一步,配置索引遷移任務(wù)。
參數(shù) 說明 選擇源索引和Type 選擇待遷移的索引和索引類型。 創(chuàng)建目標(biāo)索引和Type 填入目標(biāo)索引的名稱和類型。請(qǐng)確保目標(biāo)集群中不存在同名索引。 自定義Routing 支持自定義路由字段。不填時(shí),_routing默認(rèn)使用主鍵字段。 Mapping配置 默認(rèn)讀取源索引的Mapping配置。可自定義修改索引類型、屬性的名稱和類型等。 重要 如果您修改了目標(biāo)索引類型,需要在Mapping中同步修改,否則會(huì)報(bào)錯(cuò)SinkTypenameNotMatchMappings。Settings配置 默認(rèn)讀取源索引的Settings配置。可自定義修改索引的主分片和副本分片數(shù)等。 說明 您也可以單擊頁面底部的添加索引遷移任務(wù),添加多個(gè)索引遷移任務(wù)。添加后,可單擊刪除,刪除對(duì)應(yīng)的索引遷移任務(wù)。 - 單擊提交。
- 查看索引遷移任務(wù)的詳細(xì)信息。