本文以配置RDS MySQL間的數據集成任務為例,介紹數據集成任務的配置流程和注意事項。

說明
  • 新版DTS控制臺暫不支持數據集成功能,您可以在數據管理DMS控制臺配置離線集成任務,詳情請參見離線集成概述
  • 支持全量數據遷移的數據源均支持數據集成功能,詳情請參見遷移方案概覽

前提條件

已創建源和目標實例,請參見創建RDS MySQL實例。

背景信息

DTS的數據集成功能可根據調度策略,定期地將源庫中的結構和存量數據遷移至目標庫中,通過該功能可以幫助您構建更加靈活的數據倉庫。更多詳情,請參見數據集成調度策略說明

注意事項

如果源數據庫沒有主鍵或唯一約束,且所有字段沒有唯一性,可能會導致目標數據庫中出現重復數據。

功能限制

  • DTS支持結構遷移的對象為表、視圖、觸發器、存儲過程、存儲函數。
    說明 在結構遷移時,DTS會將視圖、存儲過程或函數中的DEFINER轉換為INVOKER。
  • 不支持遷移源庫的user信息。遷移完成后,如果您需要調用目標庫的視圖、存儲過程或函數,則需對調用者授予讀寫權限。

費用說明

遷移類型鏈路配置費用公網流量費用
結構遷移和全量數據遷移不收費。通過公網將數據遷移出阿里云時將收費,詳情請參見計費概述。

操作步驟

本文以華北1(青島)地域的RDS MySQL實例為例,介紹配置流程。

  1. 登錄數據傳輸控制臺
    說明
    • 若數據傳輸控制臺自動跳轉至數據管理DMS控制臺,您可以單擊右下角的jiqiren中單擊返回舊版,返回至舊版數據傳輸控制臺。
    • 若您登錄的是新版數據傳輸控制臺,您可以單擊右下角的返回舊版,返回至舊版數據傳輸控制臺。
  2. 在左側導航欄,單擊數據集成
  3. 在數據集成任務列表的頂部,選擇遷移的目標實例所屬地域,本案例選擇為華北1(青島)地域。
  4. 單擊頁面右上角的創建數據集成任務。
  5. 配置數據集成任務的源庫和目標庫連接信息。
    RDS MySQL間遷移
    類別配置說明
    任務名稱DTS會自動生成一個任務名稱,建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
    源庫信息實例類型選擇RDS實例
    實例地區選擇源RDS實例所屬的地域,本案例選擇為華北1(青島)地域。
    數據庫賬號填入源RDS實例的數據庫賬號,該數據庫賬號需具備讀寫權限。
    說明 關于數據庫賬號的創建和授權方法,請參見創建RDS MySQL數據庫賬號。
    數據庫密碼填入該數據庫賬號的密碼。
    說明 源庫信息填寫完畢后,您可以單擊數據庫密碼后的測試連接來驗證填入的信息是否正確。如果填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗后的診斷,根據提示調整填寫的源庫信息。
    連接方式根據需求選擇非加密連接SSL安全連接。如果設置為SSL安全連接,您需要提前開啟RDS實例的SSL加密功能,詳情請參見設置SSL加密
    目標庫信息實例類型選擇RDS實例。
    實例地區選擇目標RDS實例所屬的地域,本案例選擇為華北1(青島)地域。
    數據庫賬號填入目標RDS實例的數據庫賬號,該數據庫賬號需具備讀寫權限。
    說明 關于數據庫賬號的創建和授權方法,請參見創建RDS MySQL數據庫賬號。
    數據庫密碼填入該數據庫賬號的密碼。
    說明 目標庫信息填寫完畢后,您可以單擊數據庫密碼后的測試連接來驗證填入的信息是否正確。如果填寫正確則提示測試通過;如果提示測試失敗,單擊測試失敗后的診斷,根據提示調整填寫的目標庫信息。
    連接方式根據需求選擇非加密連接SSL安全連接。如果設置為SSL安全連接,您需要提前開啟RDS實例的SSL加密功能,詳情請參見設置SSL加密
  6. 配置完成后,單擊頁面右下角的授權白名單并進入下一步。
  7. 配置周期性調度策略并選擇遷移對象。
    1. 配置周期性調度策略。
      配置數據集成策略
      配置說明
      遷移類型選中結構遷移全量數據遷移,DTS將在首次遷移時,遷移源庫待遷移對象的結構和存量數據。
      調度策略
      • 多副本模式
      • 重新同步模式
      • 基于時間戳的增量模式
      說明 關于調度策略的說明、限制及使用場景請參見調度策略說明。
      調度生效日期單擊圖標,然后選擇調度生效的起止日期,最大范圍為365天。
      調度周期選擇調度周期為,然后根據提示設置具體的調度時間點。
      說明
      • DTS在執行全量數據遷移時將占用源庫和目標庫一定的讀寫資源,可能會導致數據庫的負載上升,因此建議您充分評估源庫和目標庫的性能,同時將調度時間點設定在業務低峰期。
      • 設置完成后,可單擊任務失敗策略右側的查看計劃調度時間來查看設置的調度時間是否符合預期。
      任務失敗策略根據業務需求,選擇:
      • 單次任務失敗后,不再執行后續的調度任務
      • 單次任務失敗后,忽略失敗,并執行下一次調度任務
    2. 選擇遷移對象。
      選擇遷移對象
      配置說明
      遷移對象

      遷移對象框中單擊待遷移的對象(庫、表或列),然后單擊向右小箭頭圖標將其移動至已選擇對象框。

      說明
      • 如果調度策略選擇為基于時間戳的增量模式,遷移對象不能選擇為整庫(需為表或列),否則無法在下一步指定時間戳字段。
      • 默認情況下,遷移完成后,遷移對象的名稱保持不變。如果您需要變更遷移對象在目標實例中的名稱,需要使用對象名映射功能,詳情請參見庫表列映射
      • 如果使用了對象名映射功能,可能會導致依賴這個對象的其他對象遷移失敗。
    3. 單擊頁面右下角的下一步,指定時間戳字段。
      說明 當選擇調度策略基于時間戳的增量模式時,才需要執行本步驟。
      指定時間戳字段
  8. 上述配置完成后,單擊頁面右下角的預檢查并啟動。
    說明
    • 在遷移任務正式啟動之前,會先進行預檢查。只有預檢查通過后,才能成功啟動遷移任務。
    • 如果預檢查失敗,單擊具體檢查項后的提示,查看失敗詳情。
      • 您可以根據提示修復后重新進行預檢查。
      • 如無需修復告警檢測項,您也可以選擇確認屏蔽、忽略告警項并重新進行預檢查,跳過告警檢測項重新進行預檢查。
  9. 預檢查通過后,單擊下一步。
  10. 在彈出的購買配置確認對話框,選擇鏈路規格并選中數據傳輸(按量付費)服務條款
  11. 單擊立即購買并啟動,數據集成任務將在最近的調度周期(即下次調度時間)正式開始。
    數據集成任務狀態
    說明 該任務將在調度生效時間的截止時間自動結束。如果需要在調度生效的時間內停止該任務,請單擊停止數據集成任務

執行結果

本次任務調度完成后,數據集成任務的狀態變更為已完成,DTS將等待下次調度時間并再次執行全量數據遷移。

數據集成運行中狀態