同步原理介紹

DTS通過(guò)同步Codis集群中的每個(gè)Codis-Group來(lái)實(shí)現(xiàn)集群的整體同步，您需要為每個(gè)Codis-Group創(chuàng)建一個(gè)對(duì)應(yīng)的數(shù)據(jù)同步作業(yè)。

Codis集群環(huán)境介紹

在本案例中，Codis集群具備兩個(gè)Codis-Group，每個(gè)Codis-Group采用一主一備的架構(gòu)，詳情請(qǐng)參見下圖。

注意事項(xiàng)

• DTS在執(zhí)行全量數(shù)據(jù)初始化時(shí)將占用源庫(kù)和目標(biāo)庫(kù)一定的資源，可能會(huì)導(dǎo)致數(shù)據(jù)庫(kù)服務(wù)器負(fù)載上升。如果數(shù)據(jù)庫(kù)業(yè)務(wù)量較大或服務(wù)器規(guī)格較低，可能會(huì)加重?cái)?shù)據(jù)庫(kù)壓力，甚至導(dǎo)致數(shù)據(jù)庫(kù)服務(wù)不可用。建議您在執(zhí)行數(shù)據(jù)同步前謹(jǐn)慎評(píng)估，在業(yè)務(wù)低峰期執(zhí)行數(shù)據(jù)同步。

• 如果在源數(shù)據(jù)庫(kù)的配置文件redis.conf中配置了bind參數(shù)，請(qǐng)將該參數(shù)的值設(shè)置為ECS的內(nèi)網(wǎng)IP地址以保障DTS可以正常連接源數(shù)據(jù)庫(kù)。

• 為保障同步鏈路穩(wěn)定性，建議將源集群的配置文件redis.conf中repl-backlog-size參數(shù)的值適當(dāng)調(diào)大。

• 為保障同步質(zhì)量，DTS會(huì)在源集群中插入一個(gè)key：DTS_REDIS_TIMESTAMP_HEARTBEAT，用于記錄更新時(shí)間點(diǎn)。

• 請(qǐng)勿在源集群中執(zhí)行FLUSHDB和FLUSHALL命令，否則將導(dǎo)致源和目標(biāo)的數(shù)據(jù)不一致。

• 若目標(biāo)數(shù)據(jù)庫(kù)內(nèi)存不足，觸發(fā)數(shù)據(jù)逐出時(shí)，由于云數(shù)據(jù)庫(kù) Tair（兼容 Redis）的默認(rèn)數(shù)據(jù)逐出策略（maxmemory-policy）為volatile-lru，會(huì)導(dǎo)致目標(biāo)庫(kù)與源庫(kù)數(shù)據(jù)不一致的情況，但不會(huì)影響任務(wù)的正常運(yùn)行。

  為避免該情況發(fā)生，建議將目標(biāo)庫(kù)的數(shù)據(jù)逐出策略設(shè)置為noeviction，當(dāng)目標(biāo)庫(kù)內(nèi)存不足時(shí)，數(shù)據(jù)會(huì)寫入失敗，同時(shí)任務(wù)也會(huì)失敗，但目標(biāo)庫(kù)不會(huì)因?yàn)閿?shù)據(jù)逐出而丟失數(shù)據(jù)。

  說(shuō)明

  關(guān)于數(shù)據(jù)逐出策略詳情，請(qǐng)參見Redis數(shù)據(jù)逐出策略介紹。

• 如果源庫(kù)中的某些Key使用了過(guò)期（expire）策略，由于可能存在Key已過(guò)期但未被及時(shí)刪除的情況，所以在目標(biāo)庫(kù)中查看到的Key數(shù)量（例如通過(guò)info命令查看）會(huì)比源庫(kù)的Key數(shù)量少。

  說(shuō)明

  源和目標(biāo)庫(kù)中，未設(shè)置過(guò)期策略或未過(guò)期的Key數(shù)量是一致的。

• 目標(biāo)云數(shù)據(jù)庫(kù)Tair（兼容Redis）實(shí)例支持的版本為4.0、5.0或6.0版本，如需跨版本同步（僅支持從低版本同步到高版本）請(qǐng)?zhí)崆按_認(rèn)兼容性。例如創(chuàng)建按量付費(fèi)的Redis實(shí)例來(lái)測(cè)試，測(cè)試完成后可將該實(shí)例釋放或轉(zhuǎn)為包年包月。

• 若目標(biāo)實(shí)例的架構(gòu)類型為集群版且某一個(gè)分片達(dá)到了內(nèi)存上限，或目標(biāo)實(shí)例的存儲(chǔ)空間不足時(shí)，DTS任務(wù)會(huì)因內(nèi)存溢出（Out of Memory）而失敗。

• 若目標(biāo)實(shí)例已開啟透明數(shù)據(jù)加密TDE功能，則暫不支持通過(guò)DTS同步數(shù)據(jù)。

費(fèi)用說(shuō)明

支持的同步拓?fù)?/h2>

• 一對(duì)一單向同步

• 一對(duì)多單向同步

• 級(jí)聯(lián)單向同步

關(guān)于各類同步拓?fù)涞慕榻B及注意事項(xiàng)，請(qǐng)參見數(shù)據(jù)同步拓?fù)浣榻B。

支持的同步命令

• APPEND

• BITOP、BLPOP、BRPOP、BRPOPLPUSH

• DECR、DECRBY、DEL

• EVAL、EVALSHA、EXEC、EXPIRE、EXPIREAT

• GEOADD、GETSET

• HDEL、HINCRBY、HINCRBYFLOAT、HMSET、HSET、HSETNX

• INCR、INCRBY、INCRBYFLOAT

• LINSERT、LPOP、LPUSH、LPUSHX、LREM、LSET、LTRIM

• MOVE、MSET、MSETNX、MULTI

• PERSIST、PEXPIRE、PEXPIREAT、PFADD、PFMERGE、PSETEX、PUBLISH

• RENAME、RENAMENX、RESTORE、RPOP、RPOPLPUSH、RPUSH、RPUSHX

• SADD、SDIFFSTORE、SELECT、SET、SETBIT、SETEX、SETNX、SETRANGE、SINTERSTORE、SMOVE、SPOP、SREM、SUNIONSTORE

• ZADD、ZINCRBY、ZINTERSTORE、ZREM、ZREMRANGEBYLEX、ZUNIONSTORE、ZREMRANGEBYRANK、ZREMRANGEBYSCORE

操作步驟

1. 購(gòu)買數(shù)據(jù)同步作業(yè)，詳情請(qǐng)參見購(gòu)買流程。

   說(shuō)明

   購(gòu)買時(shí)選擇源實(shí)例為Redis、目標(biāo)實(shí)例為Redis，并選擇同步拓?fù)錇?b data-tag="uicontrol" id="uicontrol-gju-dbu-752" class="uicontrol">單向同步。

2. 登錄數(shù)據(jù)傳輸控制臺(tái)。

   說(shuō)明

   若數(shù)據(jù)傳輸控制臺(tái)自動(dòng)跳轉(zhuǎn)至數(shù)據(jù)管理DMS控制臺(tái)，您可以在右下角的中單擊，返回至舊版數(shù)據(jù)傳輸控制臺(tái)。

3. 在左側(cè)導(dǎo)航欄，單擊數(shù)據(jù)同步。

4. 在同步作業(yè)列表頁(yè)面頂部，選擇同步的目標(biāo)實(shí)例所屬地域。

5. 定位至已購(gòu)買的數(shù)據(jù)同步實(shí)例，單擊配置同步鏈路。

6. 配置數(shù)據(jù)同步的源實(shí)例及目標(biāo)實(shí)例信息。

   

   類別	配置	說(shuō)明
   無(wú)	同步作業(yè)名稱	DTS會(huì)自動(dòng)生成一個(gè)同步作業(yè)名稱，建議配置具有業(yè)務(wù)意義的名稱（無(wú)唯一性要求），便于后續(xù)識(shí)別。
   源實(shí)例信息	實(shí)例類型	選擇ECS上的自建數(shù)據(jù)庫(kù)。
   	實(shí)例地區(qū)	購(gòu)買數(shù)據(jù)同步實(shí)例時(shí)選擇的源實(shí)例地域，不可變更。
   	ECS實(shí)例ID	選擇Codis-Group中Master節(jié)點(diǎn)所屬的ECS實(shí)例ID。 說(shuō)明 DTS通過(guò)同步Codis集群中的每個(gè)Codis-Group來(lái)實(shí)現(xiàn)整體的數(shù)據(jù)同步，此處先填入第一個(gè)Codis-Group中Master節(jié)點(diǎn)所屬的ECS實(shí)例ID；稍后配置第二個(gè)數(shù)據(jù)同步作業(yè)時(shí)，此處填入第二個(gè)Codis-Group中Master節(jié)點(diǎn)所屬的ECS實(shí)例ID；以此類推，直至為所有Codis-Group配置同步作業(yè)。
   	數(shù)據(jù)庫(kù)類型	固定為Redis。
   	實(shí)例模式	選擇為單機(jī)版。 說(shuō)明 由于Codis集群架構(gòu)的特殊性，無(wú)法直接同步Codis集群，DTS通過(guò)同步Codis集群中的每個(gè)Codis-Group來(lái)實(shí)現(xiàn)整體的數(shù)據(jù)同步，所以此處需選擇為單機(jī)版。
   	端口	填入該Codis-Group中Master節(jié)點(diǎn)的服務(wù)端口。
   	數(shù)據(jù)庫(kù)密碼	填入該Master節(jié)點(diǎn)的數(shù)據(jù)庫(kù)密碼。 說(shuō)明 非必填項(xiàng)，如果沒有設(shè)置密碼可以不填。
   目標(biāo)實(shí)例信息	實(shí)例類型	選擇Redis實(shí)例。
   	實(shí)例地區(qū)	購(gòu)買數(shù)據(jù)同步實(shí)例時(shí)選擇的目標(biāo)實(shí)例地域，不可變更。
   	實(shí)例ID	選擇目標(biāo)云數(shù)據(jù)庫(kù)Tair（兼容Redis）實(shí)例ID。
   	數(shù)據(jù)庫(kù)密碼	填入Redis實(shí)例的數(shù)據(jù)庫(kù)密碼。 說(shuō)明 數(shù)據(jù)庫(kù)密碼格式為<user>:<password>。例如，Redis實(shí)例自定義的用戶名為admin，密碼為Rp829dlwa，則此處填入的數(shù)據(jù)庫(kù)密碼為admin:Rp829dlwa。

7. 單擊頁(yè)面右下角的授權(quán)白名單并進(jìn)入下一步。

   如果源或目標(biāo)數(shù)據(jù)庫(kù)是阿里云數(shù)據(jù)庫(kù)實(shí)例（例如RDS MySQL、云數(shù)據(jù)庫(kù)MongoDB版等），DTS會(huì)自動(dòng)將對(duì)應(yīng)地區(qū)DTS服務(wù)的IP地址添加到阿里云數(shù)據(jù)庫(kù)實(shí)例的白名單中；如果源或目標(biāo)數(shù)據(jù)庫(kù)是ECS上的自建數(shù)據(jù)庫(kù)，DTS會(huì)自動(dòng)將對(duì)應(yīng)地區(qū)DTS服務(wù)的IP地址添加到ECS的安全規(guī)則中，您還需確保自建數(shù)據(jù)庫(kù)沒有限制ECS的訪問(wèn)（若數(shù)據(jù)庫(kù)是集群部署在多個(gè)ECS實(shí)例，您需要手動(dòng)將DTS服務(wù)對(duì)應(yīng)地區(qū)的IP地址添加到其余每個(gè)ECS的安全規(guī)則中）；如果源或目標(biāo)數(shù)據(jù)庫(kù)是IDC自建數(shù)據(jù)庫(kù)或其他云數(shù)據(jù)庫(kù)，則需要您手動(dòng)添加對(duì)應(yīng)地區(qū)DTS服務(wù)的IP地址，以允許來(lái)自DTS服務(wù)器的訪問(wèn)。DTS服務(wù)的IP地址，請(qǐng)參見DTS服務(wù)器的IP地址段。

   警告

   DTS自動(dòng)添加或您手動(dòng)添加DTS服務(wù)的公網(wǎng)IP地址段可能會(huì)存在安全風(fēng)險(xiǎn)，一旦使用本產(chǎn)品代表您已理解和確認(rèn)其中可能存在的安全風(fēng)險(xiǎn)，并且需要您做好基本的安全防護(hù)，包括但不限于加強(qiáng)賬號(hào)密碼強(qiáng)度防范、限制各網(wǎng)段開放的端口號(hào)、內(nèi)部各API使用鑒權(quán)方式通信、定期檢查并限制不需要的網(wǎng)段，或者使用通過(guò)內(nèi)網(wǎng)（專線/VPN網(wǎng)關(guān)/智能網(wǎng)關(guān)）的方式接入。

8. 配置目標(biāo)已存在表的處理模式和同步對(duì)象。

   

   配置	說(shuō)明
   目標(biāo)已存在表的處理模式	DTS通過(guò)依次同步Codis集群中的每個(gè)Codis-Group來(lái)實(shí)現(xiàn)整體的數(shù)據(jù)同步。為第1個(gè)Codis-Group配置數(shù)據(jù)同步時(shí)，如果Redis實(shí)例暫無(wú)數(shù)據(jù)，請(qǐng)選擇預(yù)檢查并報(bào)錯(cuò)攔截。為第2到N個(gè)Codis-Group配置數(shù)據(jù)同步時(shí)，必須選擇為忽略報(bào)錯(cuò)并繼續(xù)執(zhí)行，否則將無(wú)法正常同步數(shù)據(jù)。 說(shuō)明 預(yù)檢查并報(bào)錯(cuò)攔截：檢查目標(biāo)庫(kù)是否為空。如果待同步的目標(biāo)庫(kù)為空，則通過(guò)該檢查項(xiàng)目；如果不為空，則在預(yù)檢查階段提示錯(cuò)誤，數(shù)據(jù)同步作業(yè)不會(huì)被啟動(dòng)。 忽略報(bào)錯(cuò)并繼續(xù)執(zhí)行：忽略預(yù)檢查階段中檢測(cè)到目標(biāo)庫(kù)不為空的報(bào)錯(cuò)，繼續(xù)執(zhí)行數(shù)據(jù)同步。如果在同步過(guò)程中遇到目標(biāo)庫(kù)中的key與源庫(kù)中的key相同，會(huì)將源庫(kù)的數(shù)據(jù)覆蓋寫入目標(biāo)庫(kù)中。
   同步對(duì)象	在源庫(kù)對(duì)象框中單擊待同步的數(shù)據(jù)庫(kù)，然后單擊圖標(biāo)將其移動(dòng)到已選擇對(duì)象框。 同步對(duì)象的選擇粒度為庫(kù)，暫不支持Key粒度的選擇。
   映射名稱更改	不支持更改映射名稱。
   源表DMS_ONLINE_DDL過(guò)程中是否復(fù)制臨時(shí)表到目標(biāo)庫(kù)	如源庫(kù)使用數(shù)據(jù)管理DMS（Data Management）執(zhí)行Online DDL變更，您可以選擇是否同步Online DDL變更產(chǎn)生的臨時(shí)表數(shù)據(jù)。 是：同步Online DDL變更產(chǎn)生的臨時(shí)表數(shù)據(jù)。 說(shuō)明 Online DDL變更產(chǎn)生的臨時(shí)表數(shù)據(jù)過(guò)大，可能會(huì)導(dǎo)致同步任務(wù)延遲。 否：不同步Online DDL變更產(chǎn)生的臨時(shí)表數(shù)據(jù)，只同步源庫(kù)的原始DDL數(shù)據(jù)。 說(shuō)明 該方案會(huì)導(dǎo)致目標(biāo)庫(kù)鎖表。
   源、目標(biāo)庫(kù)無(wú)法連接重試時(shí)間	當(dāng)源、目標(biāo)庫(kù)無(wú)法連接時(shí)，DTS默認(rèn)重試720分鐘（即12小時(shí)），您也可以自定義重試時(shí)間。如果DTS在設(shè)置的時(shí)間內(nèi)重新連接上源、目標(biāo)庫(kù)，同步任務(wù)將自動(dòng)恢復(fù)。否則，同步任務(wù)將失敗。 說(shuō)明 由于連接重試期間，DTS將收取任務(wù)運(yùn)行費(fèi)用，建議您根據(jù)業(yè)務(wù)需要自定義重試時(shí)間，或者在源和目標(biāo)庫(kù)實(shí)例釋放后盡快釋放DTS實(shí)例。

9. 上述配置完成后，單擊頁(yè)面右下角的下一步。

10. 配置同步初始化的選項(xiàng)。

    

    說(shuō)明

    當(dāng)前固定為包含全量數(shù)據(jù)+增量數(shù)據(jù)，即DTS會(huì)將源Codis中的存量數(shù)據(jù)同步至目標(biāo)Redis數(shù)據(jù)庫(kù)中，并同步增量數(shù)據(jù)。

11. 上述配置完成后，單擊頁(yè)面右下角的預(yù)檢查并啟動(dòng)。

    說(shuō)明

    • 在同步作業(yè)正式啟動(dòng)之前，會(huì)先進(jìn)行預(yù)檢查。只有預(yù)檢查通過(guò)后，才能成功啟動(dòng)同步作業(yè)。

    • 如果預(yù)檢查失敗，單擊具體檢查項(xiàng)后的，查看失敗詳情。

      • 您可以根據(jù)提示修復(fù)后重新進(jìn)行預(yù)檢查。

      • 如無(wú)需修復(fù)告警檢測(cè)項(xiàng)，您也可以選擇確認(rèn)屏蔽、忽略告警項(xiàng)并重新進(jìn)行預(yù)檢查，跳過(guò)告警檢測(cè)項(xiàng)重新進(jìn)行預(yù)檢查。

12. 在預(yù)檢查對(duì)話框中顯示預(yù)檢查通過(guò)后，關(guān)閉預(yù)檢查對(duì)話框，同步作業(yè)將正式開始。

13. 等待同步作業(yè)的鏈路初始化完成，直至處于同步中狀態(tài)。

    

    說(shuō)明

    您可以在數(shù)據(jù)同步頁(yè)面，查看數(shù)據(jù)同步作業(yè)的狀態(tài)。

14. 重復(fù)第1步到第13步的操作，為剩余的Codis-Group創(chuàng)建數(shù)據(jù)同步作業(yè)。