背景信息

• 本文以有公網(wǎng)IP的自建數(shù)據(jù)庫為例介紹全量數(shù)據(jù)遷移的配置流程。為保障數(shù)據(jù)一致性，全量數(shù)據(jù)遷移期間請勿在自建PostgreSQL數(shù)據(jù)庫中寫入新的數(shù)據(jù)。如果要實(shí)現(xiàn)不停機(jī)遷移，請參見從自建PostgreSQL（10.1~13版本）增量遷移至RDS PostgreSQL和從自建PostgreSQL（10.0及以下版本）增量遷移至RDS PostgreSQL。
• 自建PostgreSQL全量遷移至RDS PostgreSQL也可以通過使用邏輯備份進(jìn)行快速恢復(fù)，具體操作，請參見使用pg_restore恢復(fù)邏輯備份文件數(shù)據(jù)。

前提條件

• 自建PostgreSQL數(shù)據(jù)庫版本為9.2、9.3、9.4、9.5、9.6、10.x、11、12、13版本。
• RDS PostgreSQL實(shí)例的存儲空間須大于自建PostgreSQL數(shù)據(jù)庫占用的存儲空間。
• 自建PostgreSQL數(shù)據(jù)庫的服務(wù)端口已開放至公網(wǎng)。

注意事項(xiàng)

• DTS在執(zhí)行全量數(shù)據(jù)遷移時將占用源庫和目標(biāo)庫一定的讀寫資源，可能會導(dǎo)致數(shù)據(jù)庫的負(fù)載上升，在數(shù)據(jù)庫性能較差、規(guī)格較低或業(yè)務(wù)量較大的情況下（例如源庫有大量慢SQL、存在無主鍵表或目標(biāo)庫存在死鎖等），可能會加重數(shù)據(jù)庫壓力，甚至導(dǎo)致數(shù)據(jù)庫服務(wù)不可用。因此您需要在執(zhí)行數(shù)據(jù)遷移前評估源庫和目標(biāo)庫的性能，同時建議您在業(yè)務(wù)低峰期執(zhí)行數(shù)據(jù)遷移（例如源庫和目標(biāo)庫的CPU負(fù)載在30%以下）。

• 待遷移的數(shù)據(jù)庫名稱中間不能包含短劃線（-），例如dts-testdata。

• 如果源庫中待遷移的表沒有主鍵或唯一約束，且所有字段沒有唯一性，可能會導(dǎo)致目標(biāo)數(shù)據(jù)庫中出現(xiàn)重復(fù)數(shù)據(jù)。

• 一個數(shù)據(jù)遷移任務(wù)只能對一個數(shù)據(jù)庫進(jìn)行數(shù)據(jù)遷移，如果有多個數(shù)據(jù)庫需要遷移，則需要為每個數(shù)據(jù)庫創(chuàng)建數(shù)據(jù)遷移任務(wù)。
• 為保障遷移任務(wù)的正常進(jìn)行，目前僅支持RDS PostgreSQL 11進(jìn)行主備切換，且需設(shè)置參數(shù) rds_failover_slot_mode為sync，設(shè)置方式，請參見邏輯復(fù)制槽故障轉(zhuǎn)移（Logical Replication Slot Failover）。
  警告 自建PostgreSQL和其他版本的RDS PostgreSQL進(jìn)行主備切換，會導(dǎo)致遷移中斷。
• 對于遷移失敗的任務(wù)，DTS會觸發(fā)自動恢復(fù)。當(dāng)您需要將業(yè)務(wù)切換至目標(biāo)實(shí)例，請務(wù)必先終止或釋放該任務(wù)，避免該任務(wù)被自動恢復(fù)后，導(dǎo)致源端數(shù)據(jù)覆蓋目標(biāo)實(shí)例的數(shù)據(jù)。
• 若源庫有長事務(wù)，且實(shí)例包含增量遷移任務(wù)，則可能會導(dǎo)致源庫長事務(wù)提交前的預(yù)寫日志W(wǎng)AL（Write-Ahead Logging）無法清理而堆積，從而造成源庫磁盤空間不足。

遷移類型說明

• 結(jié)構(gòu)遷移

  DTS將遷移對象的結(jié)構(gòu)定義遷移到目標(biāo)實(shí)例，目前DTS支持結(jié)構(gòu)遷移的對象為table、trigger、view、sequence、function、user defined type、rule、domain、operation、aggregate。

• 全量數(shù)據(jù)遷移

  DTS會將自建PostgreSQL數(shù)據(jù)庫遷移對象的存量數(shù)據(jù)，全部遷移到目標(biāo)RDS PostgreSQL數(shù)據(jù)庫中。

費(fèi)用說明

數(shù)據(jù)庫賬號的權(quán)限要求

數(shù)據(jù)庫賬號創(chuàng)建及授權(quán)方法：

• 自建PostgreSQL數(shù)據(jù)庫請參見CREATE USER和GRANT語法。
• RDS PostgreSQL實(shí)例請參見創(chuàng)建賬號。

全量數(shù)據(jù)遷移流程

為解決對象間的依賴，提高遷移成功率，DTS對PostgreSQL結(jié)構(gòu)和數(shù)據(jù)的遷移流程如下：

1. 進(jìn)行Table、view、sequence、function、user defined type、rule、domain、operation、aggregate的結(jié)構(gòu)遷移。
   說明 不支持遷移插件、使用C語言編寫的function。
2. 進(jìn)行全量數(shù)據(jù)遷移。
3. 進(jìn)行trigger、foreign key的結(jié)構(gòu)遷移。

遷移前準(zhǔn)備工作

根據(jù)待遷移對象所屬的數(shù)據(jù)庫和schema信息，在目標(biāo)RDS PostgreSQL中創(chuàng)建相應(yīng)數(shù)據(jù)庫和schema（schema名稱須一致），詳情請參見創(chuàng)建數(shù)據(jù)庫和schema管理。

操作步驟

1. 登錄數(shù)據(jù)傳輸控制臺。

   說明

   若數(shù)據(jù)傳輸控制臺自動跳轉(zhuǎn)至數(shù)據(jù)管理DMS控制臺，您可以在右下角的中單擊，返回至舊版數(shù)據(jù)傳輸控制臺。

2. 在左側(cè)導(dǎo)航欄，單擊數(shù)據(jù)遷移。

3. 在遷移任務(wù)列表頁面頂部，選擇遷移的目標(biāo)實(shí)例所屬地域。

4. 單擊頁面右上角的創(chuàng)建遷移任務(wù)。

5. 配置遷移任務(wù)的源庫及目標(biāo)庫信息。

   類別	配置	說明
   無	任務(wù)名稱	DTS會自動生成一個任務(wù)名稱，建議配置具有業(yè)務(wù)意義的名稱（無唯一性要求），便于后續(xù)識別。
   源庫信息	實(shí)例類型	根據(jù)源庫的部署位置進(jìn)行選擇，本文以有公網(wǎng)IP的自建數(shù)據(jù)庫為例介紹配置流程。 說明 當(dāng)自建數(shù)據(jù)庫為其他實(shí)例類型時，您還需要執(zhí)行相應(yīng)的準(zhǔn)備工作，詳情請參見準(zhǔn)備工作概覽。
   	實(shí)例地區(qū)	當(dāng)實(shí)例類型選擇為有公網(wǎng)IP的自建數(shù)據(jù)庫時，實(shí)例地區(qū)無需設(shè)置。 說明 如果您的自建PostgreSQL數(shù)據(jù)庫進(jìn)行了白名單安全設(shè)置，您需要在實(shí)例地區(qū)配置項(xiàng)后，單擊獲取DTS IP段來獲取到DTS服務(wù)器的IP地址，并將獲取到的IP地址加入自建PostgreSQL數(shù)據(jù)庫的白名單安全設(shè)置中。
   	數(shù)據(jù)庫類型	選擇PostgreSQL。
   	主機(jī)名或IP地址	填入自建PostgreSQL數(shù)據(jù)庫的訪問地址，本案例中填入公網(wǎng)地址。
   	端口	填入自建PostgreSQL數(shù)據(jù)庫的服務(wù)端口，默認(rèn)為5432。
   	數(shù)據(jù)庫名稱	填入自建PostgreSQL數(shù)據(jù)庫中待遷移的數(shù)據(jù)庫名。
   	數(shù)據(jù)庫賬號	填入自建PostgreSQL的數(shù)據(jù)庫賬號，權(quán)限要求請參見數(shù)據(jù)庫賬號的權(quán)限要求。
   	數(shù)據(jù)庫密碼	填入該數(shù)據(jù)庫賬號對應(yīng)的密碼。 說明 源庫信息填寫完畢后，您可以單擊數(shù)據(jù)庫密碼后的測試連接來驗(yàn)證填入的源庫信息是否正確。源庫信息填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗后的診斷，根據(jù)提示調(diào)整填寫的源庫信息。
   目標(biāo)庫信息	實(shí)例類型	選擇RDS實(shí)例。
   	實(shí)例地區(qū)	選擇目標(biāo)RDS實(shí)例所屬地域。
   	RDS實(shí)例ID	選擇目標(biāo)RDS實(shí)例ID。
   	數(shù)據(jù)庫名稱	填入RDS實(shí)例中待遷入數(shù)據(jù)的數(shù)據(jù)庫名，可以和自建PostgreSQL中待遷移的數(shù)據(jù)庫名不同。 說明 您需要先在RDS實(shí)例中創(chuàng)建相應(yīng)的數(shù)據(jù)庫和schema，詳情請參見遷移前準(zhǔn)備工作。
   	數(shù)據(jù)庫賬號	填入目標(biāo)RDS實(shí)例的數(shù)據(jù)庫賬號，權(quán)限要求請參見數(shù)據(jù)庫賬號的權(quán)限要求。
   	數(shù)據(jù)庫密碼	填入該數(shù)據(jù)庫賬號對應(yīng)的密碼。 說明 目標(biāo)庫信息填寫完畢后，您可以單擊數(shù)據(jù)庫密碼后的測試連接來驗(yàn)證填入的目標(biāo)庫信息是否正確。目標(biāo)庫信息填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗后的診斷，根據(jù)提示調(diào)整填寫的目標(biāo)庫信息。

6. 配置完成后，單擊頁面右下角的授權(quán)白名單并進(jìn)入下一步。

   如果源或目標(biāo)數(shù)據(jù)庫是阿里云數(shù)據(jù)庫實(shí)例（例如RDS MySQL、云數(shù)據(jù)庫MongoDB版等），DTS會自動將對應(yīng)地區(qū)DTS服務(wù)的IP地址添加到阿里云數(shù)據(jù)庫實(shí)例的白名單；如果源或目標(biāo)數(shù)據(jù)庫是ECS上的自建數(shù)據(jù)庫，DTS會自動將對應(yīng)地區(qū)DTS服務(wù)的IP地址添到ECS的安全規(guī)則中，您還需確保自建數(shù)據(jù)庫沒有限制ECS的訪問（若數(shù)據(jù)庫是集群部署在多個ECS實(shí)例，您需要手動將DTS服務(wù)對應(yīng)地區(qū)的IP地址添到其余每個ECS的安全規(guī)則中）；如果源或目標(biāo)數(shù)據(jù)庫是IDC自建數(shù)據(jù)庫或其他云數(shù)據(jù)庫，則需要您手動添加對應(yīng)地區(qū)DTS服務(wù)的IP地址，以允許來自DTS服務(wù)器的訪問。DTS服務(wù)的IP地址，請參見DTS服務(wù)器的IP地址段。

   警告

   DTS自動添加或您手動添加DTS服務(wù)的公網(wǎng)IP地址段可能會存在安全風(fēng)險，一旦使用本產(chǎn)品代表您已理解和確認(rèn)其中可能存在的安全風(fēng)險，并且需要您做好基本的安全防護(hù)，包括但不限于加強(qiáng)賬號密碼強(qiáng)度防范、限制各網(wǎng)段開放的端口號、內(nèi)部各API使用鑒權(quán)方式通信、定期檢查并限制不需要的網(wǎng)段，或者使用通過內(nèi)網(wǎng)（專線/VPN網(wǎng)關(guān)/智能網(wǎng)關(guān)）的方式接入。

7. 選擇遷移對象及遷移類型。

   配置	說明
   遷移類型	如果只需要進(jìn)行全量數(shù)據(jù)遷移，則同時勾選結(jié)構(gòu)遷移和全量數(shù)據(jù)遷移。 如果需要進(jìn)行不停機(jī)遷移，則同時勾選結(jié)構(gòu)遷移、全量數(shù)據(jù)遷移和增量數(shù)據(jù)遷移。 本案例為全量數(shù)據(jù)遷移，遷移類型中勾選結(jié)構(gòu)遷移和全量數(shù)據(jù)遷移。 說明 為保障數(shù)據(jù)一致性，數(shù)據(jù)遷移期間請勿在自建PostgreSQL數(shù)據(jù)庫中寫入新的數(shù)據(jù)。
   遷移對象	在遷移對象框中單擊待遷移的對象，然后單擊將其移動至已選擇對象框。 說明 遷移對象選擇的粒度為Schema、表、列。 默認(rèn)情況下，遷移對象在目標(biāo)庫中的名稱與源庫保持一致。如果您需要改變遷移對象在目標(biāo)庫中的名稱，需要使用對象名映射功能，詳情請參見庫表列映射。 如果使用了對象名映射功能，可能會導(dǎo)致依賴這個對象的其他對象遷移失敗。
   映射名稱更改	如需更改遷移對象在目標(biāo)實(shí)例中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
   源、目標(biāo)庫無法連接重試時間	默認(rèn)重試12小時，您也可以自定義重試時間。如果DTS在設(shè)置的時間內(nèi)重新連接上源、目標(biāo)庫，遷移任務(wù)將自動恢復(fù)。否則，遷移任務(wù)將失敗。 說明 由于連接重試期間，DTS將收取任務(wù)運(yùn)行費(fèi)用，建議您根據(jù)業(yè)務(wù)需要自定義重試時間，或者在源和目標(biāo)庫實(shí)例釋放后盡快釋放DTS實(shí)例。

8. 上述配置完成后，單擊頁面右下角的預(yù)檢查并啟動。

   說明

   • 在遷移任務(wù)正式啟動之前，會先進(jìn)行預(yù)檢查。只有預(yù)檢查通過后，才能成功啟動遷移任務(wù)。

   • 如果預(yù)檢查失敗，單擊具體檢查項(xiàng)后的，查看失敗詳情。

     • 您可以根據(jù)提示修復(fù)后重新進(jìn)行預(yù)檢查。

     • 如無需修復(fù)告警檢測項(xiàng)，您也可以選擇確認(rèn)屏蔽、忽略告警項(xiàng)并重新進(jìn)行預(yù)檢查，跳過告警檢測項(xiàng)重新進(jìn)行預(yù)檢查。

9. 預(yù)檢查通過后，單擊下一步。

10. 在購買配置確認(rèn)頁面，選擇鏈路規(guī)格并選中數(shù)據(jù)傳輸（按量付費(fèi)）服務(wù)條款。

11. 單擊購買并啟動，遷移任務(wù)正式開始。
    說明 請勿手動結(jié)束遷移任務(wù)，否則可能會導(dǎo)致數(shù)據(jù)不完整。您只需等待遷移任務(wù)完成即可，遷移任務(wù)會自動結(jié)束。
12. 將業(yè)務(wù)切換至RDS實(shí)例。

后續(xù)操作

用于數(shù)據(jù)遷移的數(shù)據(jù)庫賬號擁有讀寫權(quán)限，為保障數(shù)據(jù)庫安全性，請?jiān)跀?shù)據(jù)遷移完成后，刪除自建PostgreSQL數(shù)據(jù)庫和RDS PostgreSQL實(shí)例中的數(shù)據(jù)庫賬號。