數據遷移
數據遷移功能幫助您實現同構或異構數據源之間的數據遷移,適用于數據上云遷移、阿里云內部跨實例數據遷移、數據庫拆分擴容等業務場景。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構遷移 | 邏輯遷移 | 支持同構數據庫間的數據遷移。 | |
物理遷移 | 通過物理網關將自建數據庫遷移上云。 | ||
異構遷移 | 邏輯遷移 | 支持異構數據庫間的數據遷移。 | |
切流 | 數據庫上云割接 | 數據庫割接用于幫助用戶在完成數據庫評估、應用評估改造后,將業務最終平滑地遷移到云上數據庫。 | |
周期性任務 | 定時全量遷移 | 通過數據集成功能的調度策略配置,定期地將源庫中的結構和存量數據遷移至目標庫中。 | |
賬號遷移 | 全量賬號遷移 | 在配置同步或遷移任務過程中啟用賬號遷移功能,幫助您方便快捷地將源庫的賬號(包含密碼和權限)遷移至目標庫。 |
數據同步
數據同步功能幫助您實現數據源之間的數據實時同步,適用于數據異地多活、數據異地災備、本地數據災備、跨境數據同步、云BI及實時數據倉庫等多種業務場景。
功能集 | 功能 | 功能描述 | 參考文檔 |
同步鏈路管理 | 一鍵反向容災切換 | 為正常運行的同步實例一鍵創建反向增量同步實例。 | |
容災&多活 | 雙向同步 | 支持創建兩個數據庫之間(比如RDS MySQL與自建MySQL)的雙向數據實時同步,適用于異地多活(單元化)、數據異地容災等多種應用場景。 | |
一鍵調轉正反向同步 | 支持將雙向同步實例的方向進行調轉。在業務場景需要進行主備數據庫切換或雙云切換時,您可以輕松地調整已有雙向同步實例的方向,而無需重新配置實例。 | ||
全球多活數據庫集群GAD | 支持通過RDS+DTS構建全球多活數據庫集群,實現數據庫容災保護的同時,為用戶提供就近訪問的服務體驗。 | ||
同步拓撲管理 | 支持對同步任務的同步拓撲進行升級,將單向同步任務升級為雙向同步任務,以滿足不斷發展的業務需求。 | ||
沖突策略管理 | 沖突檢測 | 支持對INSERT導致的唯一性沖突、UPDATE更新的記錄不完全匹配、DELETE對應的記錄不存在進行沖突檢測。 | - |
沖突處理 | 支持TaskFailed(遇到沖突,任務報錯退出)、Ignore(遇到沖突,直接使用目標實例中的沖突記錄)、Overwrite(遇到沖突,直接覆蓋目標實例中的沖突記錄)三種沖突修復策略。 | - | |
異構同步 | 實時數倉同步 | 支持將數據同步到實時數倉中,幫助您完成高吞吐離線處理和高性能在線分析。 | |
非數據庫同步 | 支持將數據同步至函數計算FC的指定函數。您可以編寫函數代碼,對數據進行二次加工。 | ||
異構數據庫同步 | 支持異構數據庫間的數據同步。 | ||
數據投遞 | 數據投遞通道 | 通過創建數據投遞實例打通數據投遞通道,以便后續使用SDK將數據源投遞到DTS。 | |
數據投遞SDK | 通過SDK將各種類型的數據源投遞到DTS,再由DTS同步至目標數據庫,從而支持更多類型的數據源。 | ||
同構同步 | 邏輯同構實時同步 | 支持同構數據庫間的數據同步。 |
數據訂閱
數據訂閱功能可以幫助您獲取數據庫的實時增量數據,您可以根據自身業務需求自由消費增量數據,并寫入目標端,實現各類業務場景,例如緩存更新、業務異步解耦、異構數據源數據實時同步及含復雜ETL的多種業務場景。
功能集 | 功能 | 功能描述 | 參考文檔 |
數據訂閱 | 數據訂閱通道 | 創建數據訂閱實例,獲取數據庫的實時增量數據變更。 | |
數據訂閱SDK | 支持使用SDK客戶端示例代碼、flink-dts-connector、Kafka客戶端示例代碼打印訂閱數據,用于SDK客戶端、Flink客戶端、Kafka客戶端消費數據訂閱通道中的數據。 | ||
數據訂閱流量管理 | 數據訂閱實例的源庫為MySQL時,支持通過配置費用的類型選擇是否收取數據流量費用。 |
任務管理
DTS任務管理。
功能集 | 功能 | 功能描述 | 參考文檔 |
任務管理 | 任務創建與配置 | 支持創建多種數據源之間的數據傳輸任務,且支持先配置再購買和先購買再配置兩種創建任務方式。 | |
任務調度 | DTS默認將任務調度到共享集群上,支持在高級配置階段選擇調度該任務的專屬集群。 | - | |
任務監控 | 在控制臺通過DTS實例獲取到任務的鏈路狀態信息和多種性能指標,為您管理任務提供參考依據。 | ||
任務診斷 | 通過檢查源庫、目標庫、網絡和DTS在增量遷移時的性能,提供診斷結果和建議。 | ||
任務修改 | 支持管理實例的環境標簽,支持在數據同步實例運行過程中新增或移除同步對象,支持修改同步或遷移實例的ETL配置。 | ||
任務刪除 | 對于已完成數據傳輸任務且無需保留配置信息的DTS實例,您可以手動釋放按量付費實例或退訂包年包月實例,以避免產生額外的費用。 | ||
跨賬號訪問 | 支持配置源庫或目標庫跨阿里云賬號的任務,適用于阿里云賬號間的資源遷移或合并、業務架構調整等多種應用場景。 | ||
混合云跨云訪問 | 以公網IP的方式接入數據庫,實現不同屬性賬號之間(如公共云和金融云賬號之間)的數據遷移。 | ||
操作審計 | 通過查詢實例的操作日志信息,獲取對實例的操作、操作結果及操作者的信息。 | ||
數據連接管理 | 支持錄入數據庫信息,在配置任務時可以直接選擇已錄入的數據庫,DTS將自動填入數據庫信息而無需再手動輸入。 | ||
OpenAPI | POP接口 | 支持在OpenAPI門戶調用接口進行調試。 | |
SDK | 支持使用SDK開發包調用接口。 | ||
Terraform | 支持開源工具Terraform。 | ||
網絡管理 | 跨Region打通 | 支持源庫地域與目標庫地域不同的數據傳輸。 | |
傳輸壓縮 | DTS鏈路支持多并發壓縮傳輸,降低傳輸鏈路對帶寬的占用。 | ||
私網域名接入 | 通過專有網絡VPC接入源庫或目標庫時,支持使用私網域名連接數據庫。 | ||
數據庫網關DG | 支持以數據庫網關DG的方式將數據庫接入到DTS。 | ||
公網流量打通 | 支持以公網IP的方式將數據庫接入到DTS。 | ||
跨境傳輸 | 默認僅支持非跨境的數據同步任務,若您需要創建跨境的數據同步任務,需要申請開通跨境同步的權限。 | ||
事件中心 | 事件通知 | 通過云監控平臺的事件訂閱對重要的事件設置定制化的報警通知,讓您及時了解事件的發生與進展,幫助您實時掌握事件動態,便于您在業務故障時快速分析并定位問題。 | |
主動運維平臺 | 支持運維事件報警功能,當系統檢測到可能會導致DTS實例無法正常運行的風險時會觸發相應的運維事件,并會通過控制臺、郵件或站內消息等方式進行通知。 | ||
Serverless | Serverless實例管理 | 支持對Serverless實例進行暫停實例、查看指標數據、修改DU上下限等操作。 | |
專屬集群 | DU管理 | 支持查看專屬集群DU的創建和使用信息,修改專屬集群任務的DU數以調整該任務的規格。 | |
磁盤變配 | 當專屬集群的磁盤使用率過高,無法滿足當前業務需求時,您可以對專屬集群進行磁盤擴容操作,以確保當前專屬集群的磁盤空間與您的業務需求相匹配。 | ||
共享集群專屬集群互遷 | 支持修改實例運行的集群,即將實例從專屬集群遷移到公共集群,或者從公共集群遷移到專屬集群。 | ||
專屬集群實例管理 | 支持對專屬集群進行手動續費、變更節點配置、設置超配比等操作。 | ||
安全性 | 數據加密 | 支持以SSL安全連接的方式連接數據庫。 | |
操作隔離 | 支持使用最小權限的RAM身份(即RAM用戶和RAM角色)來訪問數據傳輸服務DTS,以提高數據安全性,減少因權限濫用導致的安全風險。 | ||
賬號權限管控 | 通過授權系統權限策略,訪問當前云賬號下的RDS、ECS等云資源;通過足夠權限的數據庫賬號,完成相應的數據傳輸任務。 | ||
可靠性 | 集群高可用 | 使用高規格服務器來保證每條遷移或同步鏈路都能擁有良好的傳輸性能。 | |
斷點續傳 | 具有自動斷點續傳機制,有效地保證數據傳輸的可靠性。 | ||
數據源容災守護 | 源庫或目標庫無法連接或出現其他問題時,DTS支持立即進行持續的重試操作。 | - |
數據集成
ETL支持通過可視化拖拉拽操作、Flink SQL語句配置任務,并結合DTS的高效流數據復制能力,可以實現流式數據的抽取、數據轉換和加工、數據裝載。在降低開發門檻和業務系統影響的同時提升效率,豐富企業實時數據處理和計算場景,賦能企業數字化轉型。
功能集 | 功能 | 功能描述 | 參考文檔 |
讀寫分離與分流 | TP實時緩存 | 支持將MySQL數據庫(例如自建MySQL或RDS MySQL)遷移至Redis實例,降低后端關系型數據庫的負載,從而提升用戶體驗。 | |
元信息過濾與映射 | 庫表列過濾 | 在配置任務對象時,支持以庫、表、列的粒度的選擇任務對象。 | - |
DDL&DML過濾 | 在配置同步或遷移任務對象時,支持使用SQL操作來過濾需要進行增量同步或遷移的數據。 | - | |
庫表列名映射 | 在配置同步或遷移任務對象時,支持設置任務對象(庫、表、列)在目標庫實例中的名稱。您可以使用此功能將數據同步或遷移到目標庫實例的指定對象中,或在目標庫實例中創建一個與任務對象結構相同但名稱不同的對象。 | ||
拓撲映射 | 數據同步功能支持多種同步拓撲,您可以根據業務需求規劃您的同步實例。 | ||
數據過濾處理與映射 | WHERE條件過濾 | 在配置同步或遷移任務對象時,您可以通過設置過濾條件,將源數據庫中滿足您需求的數據同步或遷移到目標數據庫。 | |
數據類型映射 | 在進行異構數據庫之間的數據同步或遷移時,會在結構同步或遷移階段進行數據類型映射,即將源庫中的數據類型轉為目標庫支持的數據類型。 |
數據校驗
數據校驗是DTS提供的用于監控源庫與目標庫數據差異的功能,支持在不停服的情況下對源庫和目標庫進行校驗,幫助您及時發現數據和結構不一致的問題。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構校驗 | 元數據校驗 | 支持對同構數據的結構進行校驗。 | |
全量數據校驗 | 支持對同構數據庫的存量數據進行校驗。 | ||
增量數據校驗 | 支持對同構數據庫間的增量同步或遷移數據校驗。 | ||
異構校驗 | 元數據等效校驗 | 支持對異構數據的結構進行校驗。 | |
全量數據校驗 | 支持對異構數據庫的存量數據進行校驗。 | ||
增量數據校驗 | 支持對異構數據庫間的增量同步或遷移數據校驗。 | ||
訂正 | 元數據訂正 | 當校驗出數據結構不一致時,可以根據校驗結果進行訂正。 | |
全量數據訂正 | 當校驗出全量數據不一致時,可以根據校驗結果并下載訂正SQL進行訂正。 | ||
增量數據訂正 | 當校驗出增量數據不一致時,可以根據校驗結果進行訂正。 |
場景化解決方案產品
DTS場景化解決方案產品。
功能集 | 功能 | 功能描述 | 參考文檔 |
ZeroETL | PolarDB MySQL版同步至AnalyticDB MySQL 3.0 | 聯邦分析使用AnalyticDB MySQL的免費高速數據管道服務(APS)將PolarDB MySQL中的數據實時同步至AnalyticDB MySQL湖倉版(3.0)集群中,幫助您一站式完成數據同步與管理。 |