為了快速實(shí)現(xiàn)自建Elasticsearch集群遷移上云、集群索引重建(reindex)和跨集群數(shù)據(jù)遷移,阿里云Elasticsearch提供了一鍵索引遷移功能。本文介紹一鍵索引遷移功能的應(yīng)用場(chǎng)景及使用方法。

前提條件

已創(chuàng)建滿足條件的源和目標(biāo)端Elasticsearch集群:
  • 源端為6.7.0版本的自建或阿里云Elasticsearch集群。
  • 目標(biāo)端為6.3.2或6.7.0版本的阿里云Elasticsearch集群。
創(chuàng)建阿里云Elasticsearch集群的具體操作,請(qǐng)參見創(chuàng)建阿里云Elasticsearch實(shí)例
重要 如果您需要進(jìn)行跨賬號(hào)遷移,那么在創(chuàng)建阿里云Elasticsearch集群時(shí),源端和目標(biāo)端必須在同一專有網(wǎng)絡(luò)下。

使用限制

阿里云Elasticsearch集群需要滿足以下條件,才會(huì)顯示一鍵索引遷移功能入口:
  • 版本:6.3.2或6.7.0版本
  • 地域:華北2(北京)地域
  • 集群創(chuàng)建時(shí)間:2023年2月15日之前創(chuàng)建的集群
重要 一鍵索引遷移功能即將進(jìn)入升級(jí)維護(hù)狀態(tài),產(chǎn)品將關(guān)閉該功能入口。待升級(jí)完成后,會(huì)通過產(chǎn)品動(dòng)態(tài)告知,請(qǐng)耐心等待。目前推薦您使用快照、reindex、Logstash等方式進(jìn)行集群遷移數(shù)據(jù),詳細(xì)信息請(qǐng)參見遷移方案選取指南

應(yīng)用場(chǎng)景

  • 同集群索引重建(reindex)。支持修改索引的主分片數(shù)量和Mapping。
  • 阿里云Elasticsearch集群間,批量或單個(gè)索引遷移。
  • 自建Elasticsearch集群與阿里云Elasticsearch集群間,批量或單個(gè)索引遷移。

操作步驟

  1. 登錄阿里云Elasticsearch控制臺(tái)
  2. 在左側(cè)導(dǎo)航欄,單擊Elasticsearch實(shí)例
  3. 進(jìn)入目標(biāo)實(shí)例。
    1. 在頂部菜單欄處,選擇資源組和地域。
    2. Elasticsearch實(shí)例中單擊目標(biāo)實(shí)例ID。
  4. 基本信息頁面,選擇右上角的一鍵索引遷移 > 創(chuàng)建遷移任務(wù)
    阿里云Elasticsearch集群需要滿足以下條件,才會(huì)顯示一鍵索引遷移功能入口:
    • 版本:6.3.2或6.7.0版本
    • 地域:華北2(北京)地域
  5. 一鍵索引遷移頁面,選擇源和目標(biāo)Elasticsearch集群。
    選擇源和目標(biāo)端集群
    所選遷移方式不同,源端集群的要求不同,具體如下。
    說明 目標(biāo)端集群為當(dāng)前集群,集群ID和版本(僅支持6.3.2和6.7.0)不可變更,僅需填入用戶名和密碼。在配置時(shí),需要重點(diǎn)關(guān)注源端。
    • 從現(xiàn)有阿里云Elasticsearch集群遷移
      參數(shù)說明
      選擇源集群選擇與目標(biāo)端集群在同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch實(shí)例的ID。
      源集群版本僅支持6.7.0版本。
      用戶名阿里云Elasticsearch的用戶名,默認(rèn)為elastic。
      密碼elastic用戶的密碼。一般在創(chuàng)建實(shí)例時(shí)設(shè)定,如果忘記可重置,詳情請(qǐng)參見重置實(shí)例訪問密碼
    • 從自建Elasticsearch集群遷移

      集群類型不同,需要配置的參數(shù)不同。當(dāng)集群類型專有網(wǎng)絡(luò)下的自建集群時(shí),源端集群需要選擇與目標(biāo)端集群在同一地域中,任意專有網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群(僅支持6.7.0版本);當(dāng)集群類型開啟公網(wǎng)訪問的自建集群時(shí),源端集群需要選擇任意公網(wǎng)網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群(僅支持6.7.0版本)。詳細(xì)參數(shù)說明如下。

      集群類型參數(shù)說明
      專有網(wǎng)絡(luò)下的自建集群所在區(qū)域集群所在地域,需要與目標(biāo)端實(shí)例保持一致。
      專有網(wǎng)絡(luò)集群所在的專有網(wǎng)絡(luò)ID。不需要與目標(biāo)端實(shí)例保持一致。
      源集群訪問IP專有網(wǎng)絡(luò)下,集群中任一節(jié)點(diǎn)的IP地址,例如192.168.xx.xx。
      端口集群的訪問端口,例如9200。
      用戶名(選填)如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證,則需要輸入用戶名和密碼。
      密碼(選填)對(duì)應(yīng)用戶的密碼。
      開啟公網(wǎng)訪問的自建集群源集群公網(wǎng)訪問地址集群的公網(wǎng)訪問地址,例如http://10.37.xx.xx:9200。如果為阿里云Elasticsearch集群,需要配置為http://<集群的外網(wǎng)地址>:9200
      用戶名(選填)如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證,則需要輸入用戶名和密碼。
      密碼(選填)對(duì)應(yīng)用戶的密碼。
    選擇了源端和目標(biāo)端集群后,您可以進(jìn)行連通性測(cè)試。如果不通過,可以從以下幾方面排查:
    • 如果源端是阿里云ECS上自建的Elasticsearch集群,需要檢查阿里云ECS實(shí)例的安全組是否對(duì)外開放9200端口。如果沒有開放,請(qǐng)參見添加安全組規(guī)則,開放9200端口。
    • 檢查源端和目標(biāo)端集群的白名單是否有限制。如果有限制,請(qǐng)取消限制或修改白名單配置。具體操作,請(qǐng)參見配置實(shí)例公網(wǎng)或私網(wǎng)訪問白名單
    • 阿里云Elasticsearch的用戶名默認(rèn)為elastic,請(qǐng)檢查用戶名和密碼是否配置正確。
      重要 如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證(即用戶必須通過用戶名和密碼認(rèn)證,才被允許訪問集群。無論是通過Kibana、客戶端還是API等方式訪問集群,都需要經(jīng)過認(rèn)證),則需要輸入用戶名和密碼,否則可能導(dǎo)致遷移任務(wù)失敗。
  6. 單擊下一步,配置索引遷移任務(wù)。
    配置索引遷移任務(wù)
    參數(shù)說明
    選擇源索引和Type選擇待遷移的索引和索引類型。
    創(chuàng)建目標(biāo)索引和Type填入目標(biāo)索引的名稱和類型。請(qǐng)確保目標(biāo)集群中不存在同名索引。
    自定義Routing支持自定義路由字段。不填時(shí),_routing默認(rèn)使用主鍵字段。
    Mapping配置默認(rèn)讀取源索引的Mapping配置。可自定義修改索引類型、屬性的名稱和類型等。
    重要 如果您修改了目標(biāo)索引類型,需要在Mapping中同步修改,否則會(huì)報(bào)錯(cuò)SinkTypenameNotMatchMappings
    Settings配置默認(rèn)讀取源索引的Settings配置。可自定義修改索引的主分片和副本分片數(shù)等。
    說明 您也可以單擊頁面底部的添加索引遷移任務(wù),添加多個(gè)索引遷移任務(wù)。添加后,可單擊刪除,刪除對(duì)應(yīng)的索引遷移任務(wù)。
  7. 單擊提交
  8. 查看索引遷移任務(wù)的詳細(xì)信息。
    1. 基本信息頁面,選擇一鍵索引遷移 > 查看任務(wù)
    2. 索引構(gòu)建任務(wù)列表對(duì)話框中,查看遷移任務(wù)的執(zhí)行狀態(tài)、進(jìn)度、日志等。
      索引構(gòu)建任務(wù)列表中,展示所有已完成和正在進(jìn)行中的任務(wù)的詳細(xì)信息。可單擊查看日志查看任務(wù)的詳細(xì)日志。查看遷移任務(wù)信息