背景信息

注意事項

雙向同步任務通過配置正向和反向任務，構成雙向同步任務為您提供服務。

關于數據沖突場景說明

為了保證雙向同步數據的一致性，請確認業務對相同主鍵或非空唯一鍵的數據操作只在雙向同步的一端執行。如果兩端同時更新，可能導致數據出現沖突，主要包括以下場景。

• INSERT 時唯一鍵沖突

  如果業務在兩端接近同時執行了相同唯一鍵的 INSERT 操作，當同步到目標端時，由于唯一性約束導致數據 INSERT 寫入失敗。您可以通過任務配置決定是否忽略沖突數據或者覆蓋目標端數據。

• UPDATE 時唯一鍵沖突

  • UPDATE 要更新的數據在目標端已存在，將使用源端數據覆蓋更新目標端數據。

  • UPDATE 要更新的數據在目標端不存在，將導致數據更新失敗。

  • UPDATE 要更新的數據，更新后目標端出現主鍵或唯一鍵沖突，將導致數據更新失敗。

• DELETE 時數據沖突

  • DELETE 時對應的記錄不存在，DELETE 操作失敗。

操作步驟

配置正向任務

1. 將數據遷移任務配置至 選擇遷移類型 步驟，選擇 同步拓撲 為 雙向同步。

   詳情請參見相應類型的 數據遷移 任務文檔。

   

2. 在 選擇遷移類型 頁面，選擇當前數據遷移任務的遷移類型。

   同步拓撲為雙向同步時，支持的遷移類型包括 結構遷移、全量遷移、增量同步 和 全量校驗。

   

   遷移類型	描述
   結構遷移	結構遷移任務開始后，數據傳輸會源庫中的數據對象定義（表、索引、約束、注釋和視圖等）遷移到目標端數據庫中，并自動過濾臨時表。
   全量遷移	全量遷移任務開始后，數據傳輸會將源端庫表的存量數據遷移至目標端數據庫對應的表中。
   增量同步	增量同步任務開始后，數據傳輸會將源端數據庫發生變化的數據（新增、修改或刪除）同步至目標端數據庫對應的表中。 增量同步 包括 DML 同步 和 DDL 同步，您可以根據需求進行自定義配置。詳情請參見 自定義配置 DDL/DML。 說明 雙向同步場景下，DML 同步 選項不允許取消勾選。 雙向同步場景下，僅配置正向任務的 DDL 同步。
   全量校驗	在全量遷移完成、增量數據同步至目標端并與源端基本追平后，數據傳輸會自動發起一輪針對源端數據庫配置的數據表和目標表的全量數據校驗任務。

3. 單擊 下一步。在 選擇遷移對象 頁面，選擇當前數據遷移任務的遷移對象。

   您可以通過 指定對象 和 匹配規則 兩個入口選擇遷移對象。本文為您介紹通過 指定對象 方式選擇遷移對象的具體操作，配置匹配規則的詳情請參見 配置匹配規則 中庫到庫的通配規則說明和配置方式。

   重要

   • 待遷移的表名和其中的列名不能包含中文字符。

   • 當數據庫的庫名或表名存在“$$”字符時，會影響數據遷移任務的創建。

   • 如果您在 選擇遷移類型 步驟已勾選 DDL 同步，建議通過匹配規則方式選擇遷移對象，以確保所有符合遷移對象規則的新增對象都將被同步。如果您通過指定對象方式選擇遷移對象，則新增對象或重命名后的對象將不會被同步。

   

   1. 在 選擇遷移對象 區域，選中 指定對象。

   2. 在 選擇遷移范圍 區域的 源端對象 列表選中需要遷移的對象。您可以選擇一個或多個庫的表、視圖作為遷移對象。

   3. 單擊 >，將其添加至 目標端對象 列表中。

   數據傳輸支持通過文本導入對象，并支持對目標端對象進行重命名、設置行過濾、查看列信息，以及移除單個或全部遷移對象等操作。

   說明

   通過 匹配規則 方式選擇遷移對象時，重命名能力由匹配規則語法覆蓋，操作處僅支持設置過濾條件。詳情請參見 配置匹配規則。

   操作	步驟
   導入對象	在選擇區域的右側列表中，單擊右上角的 導入對象。 在對話框中，單擊 確定。 重要 導入會覆蓋之前的操作選擇，請謹慎操作。 在 導入遷移對象 對話框中，導入需要遷移的對象。 您可以通過導入 CSV 文件的方式進行庫表重命名、設置行過濾條件等操作。詳情請參見 下載和導入遷移對象配置。 單擊 檢驗合法性。 完成遷移對象導入后，請先檢驗合法性。目前暫不支持列字段映射。 通過檢驗后，單擊 確定。
   重命名	數據傳輸支持重命名遷移對象的名稱，詳情請參見 數據庫庫表重命名。
   設置	數據傳輸支持 WHERE 條件實現行過濾，詳情請參見 SQL 條件過濾數據。 您還可以在 查看列 區域，查看遷移對象的列信息。
   移除/全部移除	數據傳輸支持在數據映射時，對暫時選中到目標端的單個或多個對象進行移除操作。 移除單個遷移對象 在選擇區域的右側列表中，鼠標懸停至目標對象，單擊顯示的 移除，即可移除該遷移對象。 移除全部遷移對象 在選擇區域的右側列表中，單擊右上角的 全部移除。在對話框中，單擊 確定，即可移除全部遷移對象。

4. 單擊 下一步。在 遷移選項 頁面，配置各項參數。

   • 全量遷移

     在 選擇遷移類型 頁面，選中 雙向同步 > 全量遷移，才會顯示下述參數。

     

     參數	描述
     讀取并發配置	該參數用于配置全量遷移階段從源端讀取數據的并發數，最大限制為 512 并發數過高可能會造成源端壓力過大，影響業務。
     寫入并發配置	該參數用于配置全量遷移階段往目標端寫入數據的并發數，最大限制為 512。并發數過高可能會造成目標端壓力過大，影響業務。
     全量遷移速率限制	您可以根據實際需求決定是否開啟全量遷移速率限制。如果開啟，請設置 RPS（全量遷移階段每秒最多可以遷移至目標端的數據行數的最大值限制）和 BPS（全量遷移階段每秒最多可以遷移至目標端的數據量的最大值限制）。 說明 此處設置的 RPS 和 BPS 僅作為限速限流能力，全量遷移實際可以達到的性能受限于源端、目標端、實例規格配置等因素的影響。
     目標端表對象存在記錄時處理策略	處理策略包括 忽略 和 停止遷移： 選擇 忽略：當目標端表對象存在數據時，如果原數據與寫入數據沖突，數據傳輸采用將沖突數據記錄日志，保留原數據不變的策略進行數據寫入。 重要 選擇 忽略，全量校驗將使用 IN 模式拉取數據，無法校驗目標端存在源端沒有的數據的場景，并且校驗性能會有一定程度降級。 選擇默認值 停止遷移：當目標端表對象存在數據時，全量遷移會報錯不允許遷移，請處理好目標端數據后再繼續遷移。 重要 如果出錯后單擊恢復，數據傳輸將忽略該配置選項，繼續遷移表數據，請謹慎操作。
     是否允許索引后置	您可以設置是否允許全量數據遷移完成后再創建索引，索引后置功能能夠縮短全量遷移耗時。選擇索引后置的注意事項，請參見表格下方的說明。 重要 在 選擇遷移類型 頁面同時選中 結構遷移 和 全量遷移，才會顯示該參數。 僅非唯一鍵索引支持后置創建。 執行索引時，如果目標端 OceanBase 數據庫遇到下述報錯，數據傳輸會進行忽略，默認索引創建成功，不會再重復創建。 OceanBase 數據庫 MySQL 租戶報錯 Duplicate key name。 OceanBase 數據庫 Oracle 租戶報錯 name is already used by an existing object。 當您選擇 允許 后，請進行下述配置： 單條索引 DDL 并發配置：并行度越高，資源消耗越大，遷移速度越快。 最大并發索引 DDL 數量配置：同一時刻，系統調用的后置索引 DDL 數量的最大值限制。

     允許索引后置的情況下，建議您根據 OceanBase 數據庫的硬件條件和當前業務流量情況，通過黑屏客戶端工具調整以下業務租戶參數。

     // 文件內存緩沖區限制
     alter system set _temporary_file_io_area_size = '10' tenant = 'xxx'; 
     // V4.x 關閉限流
     alter system set sys_bkgd_net_percentage = 100;  

   • 增量同步

     在 選擇遷移類型 頁面，選中 雙向同步 > 增量同步，才會顯示下述參數。

     

     參數	描述
     寫入并發配置	該參數用于配置增量同步階段往目標端寫入數據的并發數，最大限制為 512。并發數過高可能會造成目標端壓力過大，影響業務。
     增量同步速率限制	您可以根據實際需求決定是否開啟增量同步速率限制。如果開啟，請設置 RPS（增量同步階段每秒最多可以同步至目標端的數據行數的最大值限制）和 BPS（增量同步階段每秒最多可以同步至目標端的數據量的最大值限制）。 說明 此處設置的 RPS 和 BPS 僅作為限速限流能力，增量同步實際可以達到的性能受限于源端、目標端、實例規格配置等因素的影響。
     數據沖突時處理策略	包括 忽略報錯，保持目標端原有數據 和 忽略沖突，使用源端數據覆蓋目標端數據。詳情請參見上文《關于數據沖突場景說明》模塊的內容。

5. 單擊 預檢查，系統對數據遷移任務進行預檢查。

   在 預檢查 環節，數據傳輸會檢查數據庫用戶的讀寫權限、數據庫的網絡連接等是否符合要求。全部檢查任務均通過后才能啟動數據遷移任務。如果預檢查報錯：

   • 您可以在排查并處理問題后，重新執行預檢查，直至預檢查成功。

   • 您也可以單擊錯誤預檢查項操作列中的 跳過，會彈出對話框提示您跳過本操作的具體影響，確認可以跳過后，請單擊對話框中的 確定。

6. 預檢查成功后，單擊 啟動任務，即可啟動正向任務。

配置反向任務

1. 返回 遷移任務列表 頁面，待正向任務處于監控中的增量同步階段且任務狀態為運行中時，單擊反向任務后的 配置。

   

2. 在 配置反向任務 對話框，配置各項參數。

   

   參數	描述
   任務實例	從下拉列表中選擇一個未配置的任務實例，用于配置反向任務。如果不存在未配置的任務實例，請進行購買。詳情請參見 購買數據遷移任務。
   寫入并發配置	該參數用于配置全量遷移階段往目標端寫入數據的并發數，最大限制為 512。并發數過高可能會造成目標端壓力過大，影響業務。
   增量同步速率限制	您可以根據實際需求決定是否開啟增量同步速率限制。
   數據沖突時處理策略	包括 忽略報錯，保持目標端原有數據 和 忽略沖突，使用源端數據覆蓋目標端數據。

3. 單擊 預檢查，系統對反向任務進行預檢查。

4. 預檢查成功后，單擊 啟動任務，即可啟動反向任務。