同步原理介紹

DTS通過同步Twemproxy Redis集群中的每個Redis-Server來實現集群的整體同步，您需要為每個Redis-Server創建一個對應的數據同步作業。

Twemproxy Redis集群環境介紹

在本案例中，Twemproxy Redis集群具備兩個Redis-Server，每個Redis-Server采用一主一從的架構，詳情請參見下圖。

注意事項

• DTS在執行全量數據初始化時將占用源庫和目標庫一定的資源，可能會導致數據庫服務器負載上升。如果數據庫業務量較大或服務器規格較低，可能會加重數據庫壓力，甚至導致數據庫服務不可用。建議您在執行數據同步前謹慎評估，在業務低峰期執行數據同步。

• 如果在源數據庫的配置文件redis.conf中配置了bind參數，請將該參數的值設置為ECS的內網IP地址以保障DTS可以正常連接源數據庫。

• 為保障同步鏈路穩定性，建議將源集群的配置文件redis.conf中repl-backlog-size參數的值適當調大。

• 為保障同步質量，DTS會在源集群中插入一個key：DTS_REDIS_TIMESTAMP_HEARTBEAT，用于記錄更新時間點。

• 請勿在源集群中執行FLUSHDB和FLUSHALL命令，否則將導致源和目標的數據不一致。

• 若目標數據庫內存不足，觸發數據逐出時，由于云數據庫 Tair（兼容 Redis）的默認數據逐出策略（maxmemory-policy）為volatile-lru，會導致目標庫與源庫數據不一致的情況，但不會影響任務的正常運行。

  為避免該情況發生，建議將目標庫的數據逐出策略設置為noeviction，當目標庫內存不足時，數據會寫入失敗，同時任務也會失敗，但目標庫不會因為數據逐出而丟失數據。

  說明

  關于數據逐出策略詳情，請參見Redis數據逐出策略介紹。

• 如果源庫中的某些Key使用了過期（expire）策略，由于可能存在Key已過期但未被及時刪除的情況，所以在目標庫中查看到的Key數量（例如通過info命令查看）會比源庫的Key數量少。

  說明

  源和目標庫中，未設置過期策略或未過期的Key數量是一致的。

• 目標云數據庫Tair（兼容Redis）實例支持的版本為4.0、5.0或6.0版本，如需跨版本同步（僅支持從低版本同步到高版本）請提前確認兼容性。例如創建按量付費的Redis實例來測試，測試完成后可將該實例釋放或轉為包年包月。

• 若目標實例的架構類型為集群版且某一個分片達到了內存上限，或目標實例的存儲空間不足時，DTS任務會因內存溢出（Out of Memory）而失敗。

• 若目標實例已開啟透明數據加密TDE功能，則暫不支持通過DTS同步數據。

費用說明

支持的同步拓撲

• 一對一單向同步

• 一對多單向同步

• 級聯單向同步

關于各類同步拓撲的介紹及注意事項，請參見數據同步拓撲介紹。

支持的同步命令

• APPEND

• BITOP、BLPOP、BRPOP、BRPOPLPUSH

• DECR、DECRBY、DEL

• EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT

• GEOADD、GETSET

• HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX

• INCR、INCRBY、INCRBYFLOAT

• LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM

• MOVE、MSET、MSETNX、MULTI

• PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX、PUBLISH

• RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX

• SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE

• ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE

操作步驟

1. 購買數據同步作業，詳情請參見購買流程。

   說明

   購買時選擇源實例為Redis、目標實例為Redis，并選擇同步拓撲為單向同步。

2. 登錄數據傳輸控制臺。

   說明

   若數據傳輸控制臺自動跳轉至數據管理DMS控制臺，您可以在右下角的中單擊，返回至舊版數據傳輸控制臺。

3. 在左側導航欄，單擊數據同步。

4. 在同步作業列表頁面頂部，選擇同步的目標實例所屬地域。

5. 定位至已購買的數據同步實例，單擊配置同步鏈路。

6. 配置數據同步的源實例及目標實例信息。

   

   類別	配置	說明
   無	同步作業名稱	DTS會自動生成一個同步作業名稱，建議配置具有業務意義的名稱（無唯一性要求），便于后續識別。
   源實例信息	實例類型	選擇ECS上的自建數據庫。
   	實例地區	購買數據同步實例時選擇的源實例地域，不可變更。
   	ECS實例ID	選擇源集群Redis-Server中Master節點所屬的ECS實例ID。 說明 DTS通過同步Twemproxy Redis集群中的每個Redis-Server來實現整體的數據同步，此處先填入第一個Redis-Server中Master節點所屬的ECS實例ID；稍后配置第二個數據同步作業時，此處填入第二個Redis-Server中Master節點所屬的ECS實例ID；以此類推，直至為所有Redis-Server配置同步作業。
   	數據庫類型	固定為Redis。
   	實例模式	選擇為單機版。 說明 由于Twemproxy Redis集群架構的特殊性，無法直接同步Twemproxy Redis集群，DTS需要通過同步Twemproxy Redis集群中的每個Redis-Server來實現整體的數據同步，所以此處需選擇為單機版。
   	端口	填入該Redis-Server中Master節點的服務端口。
   	數據庫密碼	填入該Master節點的數據庫密碼。 說明 非必填項，如果沒有設置密碼可以不填。
   目標實例信息	實例類型	選擇Redis實例。
   	實例地區	購買數據同步實例時選擇的目標實例地域，不可變更。
   	實例ID	選擇目標云數據庫Tair（兼容Redis）實例ID。
   	數據庫密碼	填入Redis實例的數據庫密碼。 說明 數據庫密碼格式為<user>:<password>。例如，Redis實例自定義的用戶名為admin，密碼為Rp829dlwa，則此處填入的數據庫密碼為admin:Rp829dlwa。

7. 單擊頁面右下角的授權白名單并進入下一步。

   如果源或目標數據庫是阿里云數據庫實例（例如RDS MySQL、云數據庫MongoDB版等），DTS會自動將對應地區DTS服務的IP地址添加到阿里云數據庫實例的白名單中；如果源或目標數據庫是ECS上的自建數據庫，DTS會自動將對應地區DTS服務的IP地址添加到ECS的安全規則中，您還需確保自建數據庫沒有限制ECS的訪問（若數據庫是集群部署在多個ECS實例，您需要手動將DTS服務對應地區的IP地址添加到其余每個ECS的安全規則中）；如果源或目標數據庫是IDC自建數據庫或其他云數據庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS服務器的訪問。DTS服務的IP地址，請參見DTS服務器的IP地址段。

   警告

   DTS自動添加或您手動添加DTS服務的公網IP地址段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，并且需要您做好基本的安全防護，包括但不限于加強賬號密碼強度防范、限制各網段開放的端口號、內部各API使用鑒權方式通信、定期檢查并限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

8. 配置目標已存在表的處理模式和同步對象。

   

   配置	說明
   目標已存在表的處理模式	DTS通過同步Twemproxy Redis集群中的每個Redis-Server來實現整體的數據同步。為第1個Redis-Server配置數據同步時，如果Redis實例暫無數據，請選擇預檢查并報錯攔截。為第2到N個Redis-Server配置數據同步時，必須選擇為忽略報錯并繼續執行，否則將無法正常同步數據。 說明 預檢查并報錯攔截：檢查目標庫是否為空。如果待同步的目標庫為空，則通過該檢查項目；如果不為空，則在預檢查階段提示錯誤，數據同步作業不會被啟動。 忽略報錯并繼續執行：忽略預檢查階段中檢測到目標庫不為空的報錯，繼續執行數據同步。如果在同步過程中遇到目標庫中的key與源庫中的key相同，會將源庫的數據覆蓋寫入目標庫中。
   同步對象	在源庫對象框中單擊待同步的數據庫，然后單擊圖標將其移動到已選擇對象框。 同步對象的選擇粒度為庫，暫不支持Key粒度的選擇。
   映射名稱更改	不支持更改映射名稱。
   源表DMS_ONLINE_DDL過程中是否復制臨時表到目標庫	如源庫使用數據管理DMS（Data Management）執行Online DDL變更，您可以選擇是否同步Online DDL變更產生的臨時表數據。 是：同步Online DDL變更產生的臨時表數據。 說明 Online DDL變更產生的臨時表數據過大，可能會導致同步任務延遲。 否：不同步Online DDL變更產生的臨時表數據，只同步源庫的原始DDL數據。 說明 該方案會導致目標庫鎖表。
   源、目標庫無法連接重試時間	當源、目標庫無法連接時，DTS默認重試720分鐘（即12小時），您也可以自定義重試時間。如果DTS在設置的時間內重新連接上源、目標庫，同步任務將自動恢復。否則，同步任務將失敗。 說明 由于連接重試期間，DTS將收取任務運行費用，建議您根據業務需要自定義重試時間，或者在源和目標庫實例釋放后盡快釋放DTS實例。

9. 上述配置完成后，單擊頁面右下角的下一步。

10. 配置同步初始化的選項。

    

    說明

    當前固定為包含全量數據+增量數據，即DTS會將源Twemproxy Redis集群中的存量數據同步至目標Redis數據庫中，并同步增量數據。

11. 上述配置完成后，單擊頁面右下角的預檢查并啟動。

    說明

    • 在同步作業正式啟動之前，會先進行預檢查。只有預檢查通過后，才能成功啟動同步作業。

    • 如果預檢查失敗，單擊具體檢查項后的，查看失敗詳情。

      • 您可以根據提示修復后重新進行預檢查。

      • 如無需修復告警檢測項，您也可以選擇確認屏蔽、忽略告警項并重新進行預檢查，跳過告警檢測項重新進行預檢查。

12. 在預檢查對話框中顯示預檢查通過后，關閉預檢查對話框，同步作業將正式開始。

13. 等待同步作業的鏈路初始化完成，直至處于同步中狀態。

    

    說明

    您可以在數據同步頁面，查看數據同步作業的狀態。

14. 重復第1步到第13步的操作，為剩余的Redis-Server創建數據同步作業。