本文中含有需要您注意的重要提示信息,忽略該信息可能對您的業務造成影響,請務必仔細閱讀。
數據傳輸服務DTS(Data Transmission Service)提供的數據訂閱功能簡單易用,您只需在控制臺上進行簡單操作,即可完成數據訂閱任務的配置。
注意事項
本文僅簡單介紹數據訂閱任務的通用配置流程,不同的數據源在配置數據訂閱任務時略有不同。關于各類數據源的詳細配置案例,請參見訂閱方案概覽中的相關配置文檔。
本文以RDS MySQL實例的訂閱為例進行介紹,配置參數僅供參考,請以實際界面為準。
準備工作
操作步驟
進入訂閱任務的列表頁面。
登錄DMS數據管理服務。
在頂部菜單欄中,單擊集成與開發。
在左側導航欄,選擇 。
說明實際操作可能會因DMS的模式和布局不同,而有所差異。更多信息,請參見極簡模式控制臺和自定義DMS界面布局與樣式。
您也可以登錄新版DTS訂閱任務的列表頁面。
在訂閱任務右側,選擇訂閱實例所屬地域。
說明新版DTS訂閱任務列表頁面,需要在頁面左上角工作臺的右側,選擇訂閱實例所屬地域。
單擊創建任務,進入任務配置頁面。
可選:在頁面右上角,單擊試用新版配置頁。
說明若您已進入新版配置頁(頁面右上角的按鈕為返回舊版配置頁),則無需執行此操作。
新版配置頁和舊版配置頁部分參數有差異,建議使用新版配置頁。
配置源庫及消費網絡類型。
警告選擇源實例后,建議您仔細閱讀頁面上方顯示的使用限制,否則可能會導致任務失敗或無法消費訂閱數據。
類別
配置
說明
無
任務名稱
DTS會自動生成一個訂閱名稱,建議配置具有業務意義的名稱(無唯一性要求),便于后續識別。
源庫信息
選擇DMS數據庫實例
本示例無需選擇,輸入下方的數據庫信息即可。
數據庫類型
選擇MySQL。
接入方式
選擇云實例。
實例地區
選擇RDS MySQL實例所屬地域。
是否跨阿里云賬號
本示例使用當前阿里云賬號下的數據庫實例,需選擇不跨賬號。
RDS實例ID
選擇RDS MySQL實例ID。
數據庫賬號
填入RDS MySQL數據庫的只讀賬號,或具備REPLICATION CLIENT、REPLICATION SLAVE、SHOW VIEW和SELECT權限的自定義賬號。
數據庫密碼
填入該數據庫賬號對應的密碼。
連接方式
本示例無需選擇,保持默認選項即可。
消費網絡類型
網絡類型
數據訂閱實例的網絡類型固定為專有網絡,您需要選擇具體的專有網絡和虛擬交換機。更多信息請參見專有網絡。
說明任務創建成功后,消費網絡類型不可更改。
若您的數據訂閱客戶端部署在專有網絡上,則建議選擇與客戶端一致的專有網絡和虛擬交換機。
通過內網地址進行數據訂閱時,網絡延遲最小。
配置完成后,單擊頁面右下角的測試連接以進行下一步。
如果源數據庫是阿里云數據庫實例(例如RDS MySQL、云數據庫MongoDB版等),DTS會自動將對應地區DTS服務的IP地址添加到阿里云數據庫實例的白名單;如果源數據庫是ECS上的自建數據庫,DTS會自動將對應地區DTS服務的IP地址添加到ECS的安全規則中,您還需手動在ECS上的自建數據庫中添加對應地區DTS服務的IP地址,以允許來自DTS服務器的訪問;如果源數據庫是IDC自建數據庫或其他云數據庫,則需要您手動添加對應地區DTS服務的IP地址,以允許來自DTS服務器的訪問。DTS服務的IP地址,請參見DTS服務器的IP地址段。
警告DTS自動添加或您手動添加DTS服務的公網IP地址段可能會存在安全風險,一旦使用本產品代表您已理解和確認其中可能存在的安全風險,并且需要您做好基本的安全防護,包括但不限于加強賬號密碼強度防范、限制各網段開放的端口號、內部各API使用鑒權方式通信、定期檢查并限制不需要的網段,或者使用通過內網(專線/VPN網關/智能網關)的方式接入。
配置任務對象。
在對象配置頁面,配置待訂閱的對象。
配置
說明
需要訂閱的數據類型
需要訂閱的數據類型默認已勾選,且不支持修改。
數據更新
訂閱已選擇對象的增量數據更新,包含數據的INSERT、DELETE和UPDATE操作。
結構更新
訂閱整個實例所有對象的結構創建、刪除及修改,您需要使用數據訂閱客戶端過濾所需的數據。
源庫對象
從源庫對象列表中,選擇待訂閱對象,單擊圖標,將其移動到已選擇對象列表中。
說明訂閱對象支持選擇的粒度為庫、表。
如果選擇整個庫作為訂閱對象,那么該庫中新增對象的增量數據也可以被訂閱到。
如果選擇某個表作為訂閱對象,那么只有這個表的增量數據可以被訂閱到。此時如果需要加入一個新的表作為訂閱對象,您需要將其加入至訂閱對象中,詳情請參見修改訂閱對象。
單擊下一步高級配置,進行高級參數配置。
本示例保持默認配置,無需手動配置,您也可以根據實際情況進行配置。
配置
說明
選擇調度該任務的專屬集群
DTS默認將任務調度到共享集群上,您無需選擇。您可以購買指定規格的專屬集群來運行DTS訂閱任務,詳情請參見什么是DTS專屬集群。
源庫、目標庫無法連接后的重試時間
在訂閱任務連接失敗時,DTS會立即進行持續的重試連接,默認持續重試時間為720分鐘,您也可以在取值范圍(10~1440分鐘)內自定義重試時間,建議設置30分鐘以上。如果DTS在設置的時間內重新連接上源庫,訂閱任務將自動恢復。否則,訂閱任務將失敗。
說明針對相同源庫的多個DTS實例,如DTS實例A和DTS實例B,設置網絡重試時間時A設置30分鐘,B設置60分鐘,則重試時間以低的30分鐘為準。
由于連接重試期間,DTS將收取任務運行費用,建議您根據業務需要自定義重試時間,或者在源庫釋放后盡快釋放DTS實例。
源庫、目標庫出現其他問題后的重試時間
在訂閱任務啟動后,若源庫出現非連接性的其他問題(如DDL或DML執行異常),則DTS會報錯并會立即進行持續的重試操作,默認持續重試時間為10分鐘,您也可以在取值范圍(1~1440分鐘)內自定義重試時間,建議設置10分鐘以上。如果DTS在設置的重試時間內相關操作執行成功,訂閱任務將自動恢復。否則,訂閱任務將會失敗。
重要源庫、目標庫出現其他問題后的重試時間的值需要小于源庫、目標庫無法連接后的重試時間的值。
環境標簽
您可以根據實際情況,選擇用于標識實例的環境標簽。
是否去除正反向任務的心跳表sql
根據業務需求選擇是否在DTS實例運行時,在源庫中寫入心跳SQL信息。
是:不在源庫中寫入心跳SQL信息,DTS實例可能會顯示有延遲。
否:在源庫中寫入心跳SQL信息,可能會影響源庫的物理備份和克隆等功能。
監控告警
是否設置告警,當訂閱失敗或延遲超過閾值后,將通知告警聯系人。
不設置:不設置告警。
設置:設置告警,您還需要設置告警閾值和告警聯系人。更多信息,請參見在配置任務過程中配置監控告警。
保存任務并進行預檢查。
若您需要查看調用API接口配置該實例時的參數信息,請將鼠標光標移動至下一步保存任務并預檢查按鈕上,然后單擊氣泡中的預覽OpenAPI參數。
若您無需查看或已完成查看API參數,請單擊頁面下方的下一步保存任務并預檢查。
說明在訂閱任務正式啟動之前,會先進行預檢查。只有預檢查通過后,才能成功啟動訂閱任務。
如果預檢查失敗,請單擊失敗檢查項后的查看詳情,并根據提示修復后重新進行預檢查。
如果預檢查產生警告:
對于不可以忽略的檢查項,請單擊失敗檢查項后的查看詳情,并根據提示修復后重新進行預檢查。
對于可以忽略無需修復的檢查項,您可以依次單擊點擊確認告警詳情、確認屏蔽、確定、重新進行預檢查,跳過告警檢查項重新進行預檢查。如果選擇屏蔽告警檢查項,可能會導致數據不一致等問題,給業務帶來風險。
預檢查通過率顯示為100%時,單擊下一步購買。
購買實例。
在購買頁面,選擇數據訂閱實例的計費方式,詳細說明請參見下表。
參數
說明
計費方式
預付費(包年包月):在新建實例時支付費用。適合長期需求,價格比按量付費更實惠,且購買時長越長,折扣越多。
后付費(按量付費):按小時扣費。適合短期需求,用完可立即釋放實例,節省費用。
資源組配置
實例所屬的資源組,默認為default resource group。更多信息,請參見什么是資源管理。
數據訂閱配置費類型
如果您創建的數據訂閱實例為包年包月(也稱為預付費),且源數據庫類型為MySQL時,則您需要選擇數據訂閱配置費類型。
選擇為原價配置費(免數據流量費),只收取配置費,免收數據流量費。
說明數據流量是指客戶端從訂閱通道中消費的數據總量,按1元/GB計費,不足1GB,按1GB計算。適合數據量較大的訂閱實例。
選擇為半價配置費+1元/GB數據流量費,從2020年12月18日開始,DTS會對該訂閱實例額外收取數據流量費用。
訂閱時長
在預付費模式下,選擇包年包月實例的時長和數量,包月可選擇1~9個月,包年可選擇1年、2年、3年和5年。
說明該選項僅在付費類型為預付費時出現。
配置完成后,閱讀并勾選《數據傳輸(按量付費)服務條款》。
單擊購買并啟動,訂閱任務正式開始,您可在任務列表查看具體任務進度。