前提條件

在遷移數(shù)據(jù)之前，您需要確認以下信息：

• 數(shù)據(jù)傳輸已具備云資源訪問權(quán)限。詳情請參見 數(shù)據(jù)傳輸遷移角色授權(quán)。

• 您已創(chuàng)建源端和目標端的數(shù)據(jù)源。詳情請參見 新建數(shù)據(jù)源 模塊的內(nèi)容。

• 源數(shù)據(jù)庫和目標數(shù)據(jù)庫均可以連通網(wǎng)絡(luò)。

• 您已為源端 MySQL 數(shù)據(jù)庫和目標端 OceanBase 數(shù)據(jù)庫的 MySQL 租戶創(chuàng)建專用于數(shù)據(jù)遷移的數(shù)據(jù)庫用戶，并賦予其相關(guān)權(quán)限。詳情請參見 配置數(shù)據(jù)源用戶權(quán)限 模塊的文檔。

• 已開啟 Binlog，詳情請參見 管理本地日志（Binlog）。

操作步驟

1. 登錄 OceanBase 管理控制臺，購買數(shù)據(jù)遷移任務(wù)。

   詳情請參見 購買數(shù)據(jù)遷移任務(wù)。

2. 在 數(shù)據(jù)傳輸 > 數(shù)據(jù)遷移 頁面，單擊新購買的數(shù)據(jù)遷移任務(wù)后的 配置。

   

   如果您需要引用已有的任務(wù)配置信息，可以單擊 引用配置。詳情請參見 引用數(shù)據(jù)遷移任務(wù)配置。

3. 在 選擇源和目標 頁面，配置各項參數(shù)。

   參數(shù)	描述
   遷移任務(wù)名稱	建議使用中文、數(shù)字和字母的組合。名稱中不能包含空格，長度不能超過 64 個字符。
   源端	源端數(shù)據(jù)庫的名稱，本文中為 MySQL 數(shù)據(jù)庫。如果您已新建 MySQL 數(shù)據(jù)源，則從下拉列表中進行選擇。如果您未新建，則單擊下拉列表中的 新建數(shù)據(jù)源，在右側(cè)對話框進行新建。參數(shù)詳情請參見 新建 MySQL 數(shù)據(jù)源。
   目標端	目標端數(shù)據(jù)庫的名稱，本文中為 OceanBase 數(shù)據(jù)庫。如果您已新建 OceanBase 數(shù)據(jù)庫的 MySQL 租戶數(shù)據(jù)源，則從下拉列表中進行選擇。如果未新建，則單擊下拉列表中的 新建數(shù)據(jù)源，在右側(cè)對話框進行新建。參數(shù)詳情請參見 新建 OceanBase 數(shù)據(jù)源。 重要 目標端不支持 OceanBase 數(shù)據(jù)庫的 實例類型 為 VPC 內(nèi)自建數(shù)據(jù)庫。
   標簽（可選）	單擊文本框，在下拉列表中選擇目標標簽。您也可以單擊 管理標簽 進行新建、修改和刪除。詳情請參見 通過標簽管理數(shù)據(jù)遷移任務(wù)。

4. 單擊 下一步。在 選擇遷移類型 頁面，選擇 同步拓撲 為 單向同步。

   部分類型的數(shù)據(jù)遷移任務(wù)支持 單向同步 和 雙向同步。本文為您介紹單向同步的操作，支持雙向同步的具體任務(wù)類型說明及操作請參見 配置雙向同步任務(wù)。

5. 選擇當前數(shù)據(jù)遷移任務(wù)的遷移類型。

   同步拓撲為單向同步時，支持的遷移類型包括 結(jié)構(gòu)遷移、全量遷移、增量同步、全量校驗 和 反向增量。

   

   遷移類型	描述
   結(jié)構(gòu)遷移	結(jié)構(gòu)遷移任務(wù)開始后，數(shù)據(jù)傳輸會將源庫中的數(shù)據(jù)對象定義（表、索引、約束、注釋和視圖等）遷移到目標數(shù)據(jù)庫中，并自動過濾臨時表。 MySQL 數(shù)據(jù)庫至 OceanBase 數(shù)據(jù)庫 MySQL 租戶的結(jié)構(gòu)遷移支持自動創(chuàng)建目標端不存在的庫。
   全量遷移	全量遷移任務(wù)開始后，數(shù)據(jù)傳輸會將源端庫表的存量數(shù)據(jù)遷移至目標端數(shù)據(jù)庫對應(yīng)的表中。如果選擇 全量遷移，建議您在遷移數(shù)據(jù)前，使用 ANALYZE 語句收集 MySQL 數(shù)據(jù)庫的統(tǒng)計信息。
   增量同步	增量同步任務(wù)開始后，數(shù)據(jù)傳輸會將源端數(shù)據(jù)庫發(fā)生變化的數(shù)據(jù)（新增、修改或刪除）同步至目標端數(shù)據(jù)庫對應(yīng)的表中。 增量同步 包括 DML 同步 和 DDL 同步，您可以根據(jù)需求進行自定義配置。詳情請參見 自定義配置 DDL/DML。增量同步 的使用限制如下： 如果您選擇了 DDL 同步，當源端數(shù)據(jù)庫發(fā)生數(shù)據(jù)傳輸不支持的增量 DDL 操作時，會存在數(shù)據(jù)遷移中斷的風險。 如果 DDL 操作為新增列，建議您將該列的屬性設(shè)置為 NULL，否則會存在數(shù)據(jù)遷移中斷的風險。
   全量校驗	在全量遷移完成、增量數(shù)據(jù)同步至目標端并與源端基本追平后，數(shù)據(jù)傳輸會自動發(fā)起一輪針對源端數(shù)據(jù)庫配置的數(shù)據(jù)表和目標表的全量數(shù)據(jù)校驗任務(wù)。 如果選擇 全量校驗，建議您在全量校驗開始前，分別收集 MySQL 數(shù)據(jù)庫和 OceanBase 數(shù)據(jù)庫 MySQL 租戶的統(tǒng)計信息。 如果您選擇了 增量同步，且 DML 同步 選項中未選擇所有的 DML，則數(shù)據(jù)傳輸不支持本場景下的全量數(shù)據(jù)校驗。 數(shù)據(jù)傳輸僅支持對唯一鍵表（指具有主鍵或非空唯一鍵的表）進行全量數(shù)據(jù)校驗。
   反向增量	反向增量任務(wù)開始后，可以實時將業(yè)務(wù)切換后在目標端數(shù)據(jù)庫產(chǎn)生的變更數(shù)據(jù)回流至源端數(shù)據(jù)庫。 通常反向增量會復用增量同步的配置，您也可以根據(jù)實際需求進行自定義配置。

6. 單擊 下一步。在 選擇遷移對象 頁面，選擇當前數(shù)據(jù)遷移任務(wù)的遷移對象。

   您可以通過 指定對象 或 匹配規(guī)則 選擇遷移對象。

   • 選擇 指定對象，在左側(cè)選中需要遷移的對象，單擊 >，將其添加至右側(cè)列表中。您可以選擇一個或多個庫的表、視圖作為遷移對象。數(shù)據(jù)傳輸支持通過文本導入對象，并支持對目標端對象進行重命名、設(shè)置行過濾、查看列信息，以及移除單個或全部遷移對象等操作。導入對象的操作如下：

     1. 在選擇區(qū)域的右側(cè)列表中，單擊右上角的 導入對象。

     2. 在對話框中，單擊 確定。

        重要

        導入會覆蓋之前的操作選擇，請謹慎操作。

     3. 在 導入遷移對象 對話框中，導入需要遷移的對象。

        您可以通過導入 CSV 文件的方式進行庫表重命名、設(shè)置行過濾條件等操作。詳情請參見 下載和導入遷移對象配置。

     4. 單擊 檢驗合法性。

        完成遷移對象導入后，請先檢驗合法性。目前暫不支持列字段映射。

     5. 通過驗證后，單擊 確定。

   • 選擇 匹配規(guī)則，詳情請參見 配置匹配規(guī)則。

7. 單擊 下一步。在 遷移選項 頁面，配置各項參數(shù)。

   • 全量遷移

     在 選擇遷移類型 頁面，選中 單向同步 > 全量遷移，才會顯示下述參數(shù)。

     

     參數(shù)	描述
     讀取并發(fā)配置	該參數(shù)用于配置全量遷移階段從源端讀取數(shù)據(jù)的并發(fā)數(shù)，最大限制為 512 并發(fā)數(shù)過高可能會造成源端壓力過大，影響業(yè)務(wù)。
     寫入并發(fā)配置	該參數(shù)用于配置全量遷移階段往目標端寫入數(shù)據(jù)的并發(fā)數(shù)，最大限制為 512。并發(fā)數(shù)過高可能會造成目標端壓力過大，影響業(yè)務(wù)。
     全量遷移速率限制	您可以根據(jù)實際需求決定是否開啟全量遷移速率限制。如果開啟，請設(shè)置 RPS（全量遷移階段每秒最多可以遷移至目標端的數(shù)據(jù)行數(shù)的最大值限制）和 BPS（全量遷移階段每秒最多可以遷移至目標端的數(shù)據(jù)量的最大值限制）。 說明 此處設(shè)置的 RPS 和 BPS 僅作為限速限流能力，全量遷移實際可以達到的性能受限于源端、目標端、實例規(guī)格配置等因素的影響。
     目標端表對象存在記錄時處理策略	處理策略包括 忽略 和 停止遷移： 選擇 忽略：當目標端表對象存在數(shù)據(jù)時，如果原數(shù)據(jù)與寫入數(shù)據(jù)沖突，數(shù)據(jù)傳輸采用將沖突數(shù)據(jù)記錄日志，保留原數(shù)據(jù)不變的策略進行數(shù)據(jù)寫入。 重要 選擇 忽略，全量校驗將使用 IN 模式拉取數(shù)據(jù)，無法校驗目標端存在源端沒有的數(shù)據(jù)的場景，并且校驗性能會有一定程度降級。 選擇默認值 停止遷移：當目標端表對象存在數(shù)據(jù)時，全量遷移會報錯不允許遷移，請?zhí)幚砗媚繕硕藬?shù)據(jù)后再繼續(xù)遷移。 重要 如果出錯后單擊恢復，數(shù)據(jù)傳輸將忽略該配置選項，繼續(xù)遷移表數(shù)據(jù)，請謹慎操作。
     是否允許索引后置	您可以設(shè)置是否允許全量數(shù)據(jù)遷移完成后再創(chuàng)建索引，索引后置功能能夠縮短全量遷移耗時。選擇索引后置的注意事項，請參見表格下方的說明。 重要 在 選擇遷移類型 頁面同時選中 結(jié)構(gòu)遷移 和 全量遷移，才會顯示該參數(shù)。 僅非唯一鍵索引支持后置創(chuàng)建。 執(zhí)行索引時，如果目標端 OceanBase 數(shù)據(jù)庫遇到下述報錯，數(shù)據(jù)傳輸會進行忽略，默認索引創(chuàng)建成功，不會再重復創(chuàng)建。 OceanBase 數(shù)據(jù)庫 MySQL 租戶報錯 Duplicate key name。 OceanBase 數(shù)據(jù)庫 Oracle 租戶報錯 name is already used by an existing object。 當目標端為 OceanBase 數(shù)據(jù)庫，并且此處選擇 允許 后，請進行下述配置： 單條索引 DDL 并發(fā)配置：并行度越高，資源消耗越大，遷移速度越快。 最大并發(fā)索引 DDL 數(shù)量配置：同一時刻，系統(tǒng)調(diào)用的后置索引 DDL 數(shù)量的最大值限制。

     允許索引后置的情況下，建議您根據(jù) OceanBase 數(shù)據(jù)庫的硬件條件和當前業(yè)務(wù)流量情況，通過黑屏客戶端工具調(diào)整以下業(yè)務(wù)租戶參數(shù)。

     // 文件內(nèi)存緩沖區(qū)限制
     alter system set _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // V4.x 關(guān)閉限流
     alter system set sys_bkgd_net_percentage = 100;  

   • 增量同步

     在 選擇遷移類型 頁面，選中 單向同步 > 增量同步，才會顯示下述參數(shù)。

     

     參數(shù)	描述
     寫入并發(fā)配置	該參數(shù)用于配置增量同步階段往目標端寫入數(shù)據(jù)的并發(fā)數(shù)，最大限制為 512。并發(fā)數(shù)過高可能會造成目標端壓力過大，影響業(yè)務(wù)。
     增量同步速率限制	您可以根據(jù)實際需求決定是否開啟增量同步速率限制。如果開啟，請設(shè)置 RPS（增量同步階段每秒最多可以同步至目標端的數(shù)據(jù)行數(shù)的最大值限制）和 BPS（增量同步階段每秒最多可以同步至目標端的數(shù)據(jù)量的最大值限制）。 說明 此處設(shè)置的 RPS 和 BPS 僅作為限速限流能力，增量同步實際可以達到的性能受限于源端、目標端、實例規(guī)格配置等因素的影響。
     增量同步起始位點	如果選擇遷移類型時已選擇 全量遷移，則不顯示該參數(shù)。 如果選擇遷移類型時未選擇 全量遷移，但選擇了 增量同步，請在此處指定遷移某個時間節(jié)點之后的數(shù)據(jù)，默認為當前系統(tǒng)時間。詳情請參見 設(shè)置增量同步位點。

   • 反向增量

     在 選擇遷移類型 頁面，選中 單向同步 > 反向增量，才會顯示該區(qū)域的參數(shù)。反向增量的配置參數(shù)默認 復用增量同步配置。

     

     您也可以取消復用增量同步配置，根據(jù)實際需求進行配置。

     參數(shù)	描述
     寫入并發(fā)配置	該參數(shù)用于配置反向增量階段往源端寫入數(shù)據(jù)的并發(fā)數(shù)，最大限制為 512。并發(fā)數(shù)過高可能會造成源端壓力過大，影響業(yè)務(wù)。
     反向增量速率限制	您可以根據(jù)實際需求決定是否開啟反向增量速率限制。如果開啟，請設(shè)置 RPS（反向增量同步階段每秒最多可以同步至源端的數(shù)據(jù)行數(shù)的最大值限制）和 BPS（反向增量同步階段每秒最多可以同步至源端的數(shù)據(jù)量的最大值限制）。 說明 此處設(shè)置的 RPS 和 BPS 僅作為限速限流能力，反向增量同步實際可以達到的性能受限于源端、目標端、實例規(guī)格配置等因素的影響。
     增量同步起始位點	如果選擇遷移類型時已選擇 全量遷移，則不顯示該參數(shù)。 如果選擇遷移類型時未選擇 全量遷移，但選擇了 增量同步，則默認以正向切換（如有）為準，不支持修改。

   • 高級選項

     當目標端 OceanBase 數(shù)據(jù)庫 MySQL 租戶為 V4.3.0 及之后版本，并且在 選擇遷移類型 頁面，選中 結(jié)構(gòu)遷移 或 增量同步 > DDL 同步，才會顯示該區(qū)域的參數(shù)。

     

     目標端表對象存儲類型包括 默認、行存、列存 和 行列混存，該配置用于確定結(jié)構(gòu)遷移或增量同步時目標端表對象的存儲類型，詳情請參見 default_table_store_format。

     說明

     默認 選項是根據(jù)目標端參數(shù)配置自適應(yīng)其他選項，是結(jié)構(gòu)遷移的表對象或增量 DDL 的新增表對象根據(jù)設(shè)置的存儲類型寫入對應(yīng)的結(jié)構(gòu)。

8. 單擊 預檢查，系統(tǒng)對數(shù)據(jù)遷移任務(wù)進行預檢查。

   在 預檢查 環(huán)節(jié)，數(shù)據(jù)傳輸會檢查數(shù)據(jù)庫用戶的讀寫權(quán)限、數(shù)據(jù)庫的網(wǎng)絡(luò)連接等是否符合要求。全部檢查任務(wù)均通過后才能啟動數(shù)據(jù)遷移任務(wù)。如果預檢查報錯：

   • 您可以在排查并處理問題后，重新執(zhí)行預檢查，直至預檢查成功。

   • 您也可以單擊錯誤預檢查項操作列中的 跳過，會彈出對話框提示您跳過本操作的具體影響，確認可以跳過后，請單擊對話框中的 確定。

9. 預檢查成功后，單擊 啟動任務(wù)。

   如果您暫時無需啟動任務(wù)，請單擊 保存。后續(xù)您只能在 遷移任務(wù)列表 頁面手動啟動任務(wù)或通過批量操作啟動任務(wù)。批量操作的詳情請參見 批量操作數(shù)據(jù)遷移任務(wù)。

   數(shù)據(jù)傳輸支持在數(shù)據(jù)遷移任務(wù)運行過程中修改遷移對象及其行過濾條件，詳情請參見 查看和修改遷移對象及其過濾條件。數(shù)據(jù)遷移任務(wù)啟動后，會根據(jù)所選擇的遷移類型依次執(zhí)行，詳情請參見 查看遷移詳情。

相關(guān)文檔

• 新建數(shù)據(jù)源模塊

• 數(shù)據(jù)遷移模塊

• 配置匹配規(guī)則

• 查看數(shù)據(jù)遷移任務(wù)的詳情