功能特性
數(shù)據(jù)遷移
數(shù)據(jù)遷移功能幫助您實(shí)現(xiàn)同構(gòu)或異構(gòu)數(shù)據(jù)源之間的數(shù)據(jù)遷移,適用于數(shù)據(jù)上云遷移、阿里云內(nèi)部跨實(shí)例數(shù)據(jù)遷移、數(shù)據(jù)庫拆分?jǐn)U容等業(yè)務(wù)場(chǎng)景。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構(gòu)遷移 | 邏輯遷移 | 支持同構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)遷移。 | |
物理遷移 | 通過物理網(wǎng)關(guān)將自建數(shù)據(jù)庫遷移上云。 | ||
異構(gòu)遷移 | 邏輯遷移 | 支持異構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)遷移。 | |
切流 | 數(shù)據(jù)庫上云割接 | 數(shù)據(jù)庫割接用于幫助用戶在完成數(shù)據(jù)庫評(píng)估、應(yīng)用評(píng)估改造后,將業(yè)務(wù)最終平滑地遷移到云上數(shù)據(jù)庫。 | |
周期性任務(wù) | 定時(shí)全量遷移 | 通過數(shù)據(jù)集成功能的調(diào)度策略配置,定期地將源庫中的結(jié)構(gòu)和存量數(shù)據(jù)遷移至目標(biāo)庫中。 | |
賬號(hào)遷移 | 全量賬號(hào)遷移 | 在配置同步或遷移任務(wù)過程中啟用賬號(hào)遷移功能,幫助您方便快捷地將源庫的賬號(hào)(包含密碼和權(quán)限)遷移至目標(biāo)庫。 |
數(shù)據(jù)同步
數(shù)據(jù)同步功能幫助您實(shí)現(xiàn)數(shù)據(jù)源之間的數(shù)據(jù)實(shí)時(shí)同步,適用于數(shù)據(jù)異地多活、數(shù)據(jù)異地災(zāi)備、本地?cái)?shù)據(jù)災(zāi)備、跨境數(shù)據(jù)同步、云BI及實(shí)時(shí)數(shù)據(jù)倉庫等多種業(yè)務(wù)場(chǎng)景。
功能集 | 功能 | 功能描述 | 參考文檔 |
同步鏈路管理 | 一鍵反向容災(zāi)切換 | 為正常運(yùn)行的同步實(shí)例一鍵創(chuàng)建反向增量同步實(shí)例。 | |
容災(zāi)&多活 | 雙向同步 | 支持創(chuàng)建兩個(gè)數(shù)據(jù)庫之間(比如RDS MySQL與自建MySQL)的雙向數(shù)據(jù)實(shí)時(shí)同步,適用于異地多活(單元化)、數(shù)據(jù)異地容災(zāi)等多種應(yīng)用場(chǎng)景。 | |
一鍵調(diào)轉(zhuǎn)正反向同步 | 支持將雙向同步實(shí)例的方向進(jìn)行調(diào)轉(zhuǎn)。在業(yè)務(wù)場(chǎng)景需要進(jìn)行主備數(shù)據(jù)庫切換或雙云切換時(shí),您可以輕松地調(diào)整已有雙向同步實(shí)例的方向,而無需重新配置實(shí)例。 | ||
全球多活數(shù)據(jù)庫集群GAD | 支持通過RDS+DTS構(gòu)建全球多活數(shù)據(jù)庫集群,實(shí)現(xiàn)數(shù)據(jù)庫容災(zāi)保護(hù)的同時(shí),為用戶提供就近訪問的服務(wù)體驗(yàn)。 | ||
同步拓?fù)涔芾?/p> | 支持對(duì)同步任務(wù)的同步拓?fù)溥M(jìn)行升級(jí),將單向同步任務(wù)升級(jí)為雙向同步任務(wù),以滿足不斷發(fā)展的業(yè)務(wù)需求。 | ||
沖突策略管理 | 沖突檢測(cè) | 支持對(duì)INSERT導(dǎo)致的唯一性沖突、UPDATE更新的記錄不完全匹配、DELETE對(duì)應(yīng)的記錄不存在進(jìn)行沖突檢測(cè)。 | - |
沖突處理 | 支持TaskFailed(遇到?jīng)_突,任務(wù)報(bào)錯(cuò)退出)、Ignore(遇到?jīng)_突,直接使用目標(biāo)實(shí)例中的沖突記錄)、Overwrite(遇到?jīng)_突,直接覆蓋目標(biāo)實(shí)例中的沖突記錄)三種沖突修復(fù)策略。 | - | |
異構(gòu)同步 | 實(shí)時(shí)數(shù)倉同步 | 支持將數(shù)據(jù)同步到實(shí)時(shí)數(shù)倉中,幫助您完成高吞吐離線處理和高性能在線分析。 | |
非數(shù)據(jù)庫同步 | 支持將數(shù)據(jù)同步至函數(shù)計(jì)算FC的指定函數(shù)。您可以編寫函數(shù)代碼,對(duì)數(shù)據(jù)進(jìn)行二次加工。 | ||
異構(gòu)數(shù)據(jù)庫同步 | 支持異構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)同步。 | ||
數(shù)據(jù)投遞 | 數(shù)據(jù)投遞通道 | 通過創(chuàng)建數(shù)據(jù)投遞實(shí)例打通數(shù)據(jù)投遞通道,以便后續(xù)使用SDK將數(shù)據(jù)源投遞到DTS。 | |
數(shù)據(jù)投遞SDK | 通過SDK將各種類型的數(shù)據(jù)源投遞到DTS,再由DTS同步至目標(biāo)數(shù)據(jù)庫,從而支持更多類型的數(shù)據(jù)源。 | ||
同構(gòu)同步 | 邏輯同構(gòu)實(shí)時(shí)同步 | 支持同構(gòu)數(shù)據(jù)庫間的數(shù)據(jù)同步。 |
數(shù)據(jù)訂閱
數(shù)據(jù)訂閱功能可以幫助您獲取數(shù)據(jù)庫的實(shí)時(shí)增量數(shù)據(jù),您可以根據(jù)自身業(yè)務(wù)需求自由消費(fèi)增量數(shù)據(jù),并寫入目標(biāo)端,實(shí)現(xiàn)各類業(yè)務(wù)場(chǎng)景,例如緩存更新、業(yè)務(wù)異步解耦、異構(gòu)數(shù)據(jù)源數(shù)據(jù)實(shí)時(shí)同步及含復(fù)雜ETL的多種業(yè)務(wù)場(chǎng)景。
功能集 | 功能 | 功能描述 | 參考文檔 |
數(shù)據(jù)訂閱 | 數(shù)據(jù)訂閱通道 | 創(chuàng)建數(shù)據(jù)訂閱實(shí)例,獲取數(shù)據(jù)庫的實(shí)時(shí)增量數(shù)據(jù)變更。 | |
數(shù)據(jù)訂閱SDK | 支持使用SDK客戶端示例代碼、flink-dts-connector、Kafka客戶端示例代碼打印訂閱數(shù)據(jù),用于SDK客戶端、Flink客戶端、Kafka客戶端消費(fèi)數(shù)據(jù)訂閱通道中的數(shù)據(jù)。 | ||
數(shù)據(jù)訂閱流量管理 | 數(shù)據(jù)訂閱實(shí)例的源庫為MySQL時(shí),支持通過配置費(fèi)用的類型選擇是否收取數(shù)據(jù)流量費(fèi)用。 |
任務(wù)管理
DTS任務(wù)管理。
功能集 | 功能 | 功能描述 | 參考文檔 |
任務(wù)管理 | 任務(wù)創(chuàng)建與配置 | 支持創(chuàng)建多種數(shù)據(jù)源之間的數(shù)據(jù)傳輸任務(wù),且支持先配置再購買和先購買再配置兩種創(chuàng)建任務(wù)方式。 | |
任務(wù)調(diào)度 | DTS默認(rèn)將任務(wù)調(diào)度到共享集群上,支持在高級(jí)配置階段選擇調(diào)度該任務(wù)的專屬集群。 | - | |
任務(wù)監(jiān)控 | 在控制臺(tái)通過DTS實(shí)例獲取到任務(wù)的鏈路狀態(tài)信息和多種性能指標(biāo),為您管理任務(wù)提供參考依據(jù)。 | ||
任務(wù)診斷 | 通過檢查源庫、目標(biāo)庫、網(wǎng)絡(luò)和DTS在增量遷移時(shí)的性能,提供診斷結(jié)果和建議。 | ||
任務(wù)修改 | 支持管理實(shí)例的環(huán)境標(biāo)簽,支持在數(shù)據(jù)同步實(shí)例運(yùn)行過程中新增或移除同步對(duì)象,支持修改同步或遷移實(shí)例的ETL配置。 | ||
任務(wù)刪除 | 對(duì)于已完成數(shù)據(jù)傳輸任務(wù)且無需保留配置信息的DTS實(shí)例,您可以手動(dòng)釋放按量付費(fèi)實(shí)例或退訂包年包月實(shí)例,以避免產(chǎn)生額外的費(fèi)用。 | ||
跨賬號(hào)訪問 | 支持配置源庫或目標(biāo)庫跨阿里云賬號(hào)的任務(wù),適用于阿里云賬號(hào)間的資源遷移或合并、業(yè)務(wù)架構(gòu)調(diào)整等多種應(yīng)用場(chǎng)景。 | ||
混合云跨云訪問 | 以公網(wǎng)IP的方式接入數(shù)據(jù)庫,實(shí)現(xiàn)不同屬性賬號(hào)之間(如公共云和金融云賬號(hào)之間)的數(shù)據(jù)遷移。 | ||
操作審計(jì) | 通過查詢實(shí)例的操作日志信息,獲取對(duì)實(shí)例的操作、操作結(jié)果及操作者的信息。 | ||
數(shù)據(jù)連接管理 | 支持錄入數(shù)據(jù)庫信息,在配置任務(wù)時(shí)可以直接選擇已錄入的數(shù)據(jù)庫,DTS將自動(dòng)填入數(shù)據(jù)庫信息而無需再手動(dòng)輸入。 | ||
OpenAPI | POP接口 | 支持在OpenAPI門戶調(diào)用接口進(jìn)行調(diào)試。 | |
SDK | 支持使用SDK開發(fā)包調(diào)用接口。 | ||
Terraform | 支持開源工具Terraform。 | ||
網(wǎng)絡(luò)管理 | 跨Region打通 | 支持源庫地域與目標(biāo)庫地域不同的數(shù)據(jù)傳輸。 | |
傳輸壓縮 | DTS鏈路支持多并發(fā)壓縮傳輸,降低傳輸鏈路對(duì)帶寬的占用。 | ||
私網(wǎng)域名接入 | 通過專有網(wǎng)絡(luò)VPC接入源庫或目標(biāo)庫時(shí),支持使用私網(wǎng)域名連接數(shù)據(jù)庫。 | ||
數(shù)據(jù)庫網(wǎng)關(guān)DG | 支持以數(shù)據(jù)庫網(wǎng)關(guān)DG的方式將數(shù)據(jù)庫接入到DTS。 | ||
公網(wǎng)流量打通 | 支持以公網(wǎng)IP的方式將數(shù)據(jù)庫接入到DTS。 | ||
跨境傳輸 | 默認(rèn)僅支持非跨境的數(shù)據(jù)同步任務(wù),若您需要?jiǎng)?chuàng)建跨境的數(shù)據(jù)同步任務(wù),需要申請(qǐng)開通跨境同步的權(quán)限。 | ||
事件中心 | 事件通知 | 通過云監(jiān)控平臺(tái)的事件訂閱對(duì)重要的事件設(shè)置定制化的報(bào)警通知,讓您及時(shí)了解事件的發(fā)生與進(jìn)展,幫助您實(shí)時(shí)掌握事件動(dòng)態(tài),便于您在業(yè)務(wù)故障時(shí)快速分析并定位問題。 | |
主動(dòng)運(yùn)維平臺(tái) | 支持運(yùn)維事件報(bào)警功能,當(dāng)系統(tǒng)檢測(cè)到可能會(huì)導(dǎo)致DTS實(shí)例無法正常運(yùn)行的風(fēng)險(xiǎn)時(shí)會(huì)觸發(fā)相應(yīng)的運(yùn)維事件,并會(huì)通過控制臺(tái)、郵件或站內(nèi)消息等方式進(jìn)行通知。 | ||
Serverless | Serverless實(shí)例管理 | 支持對(duì)Serverless實(shí)例進(jìn)行暫停實(shí)例、查看指標(biāo)數(shù)據(jù)、修改DU上下限等操作。 | |
專屬集群 | DU管理 | 支持查看專屬集群DU的創(chuàng)建和使用信息,修改專屬集群任務(wù)的DU數(shù)以調(diào)整該任務(wù)的規(guī)格。 | |
磁盤變配 | 當(dāng)專屬集群的磁盤使用率過高,無法滿足當(dāng)前業(yè)務(wù)需求時(shí),您可以對(duì)專屬集群進(jìn)行磁盤擴(kuò)容操作,以確保當(dāng)前專屬集群的磁盤空間與您的業(yè)務(wù)需求相匹配。 | ||
共享集群專屬集群互遷 | 支持修改實(shí)例運(yùn)行的集群,即將實(shí)例從專屬集群遷移到公共集群,或者從公共集群遷移到專屬集群。 | ||
專屬集群實(shí)例管理 | 支持對(duì)專屬集群進(jìn)行手動(dòng)續(xù)費(fèi)、變更節(jié)點(diǎn)配置、設(shè)置超配比等操作。 | ||
安全性 | 數(shù)據(jù)加密 | 支持以SSL安全連接的方式連接數(shù)據(jù)庫。 | |
操作隔離 | 支持使用最小權(quán)限的RAM身份(即RAM用戶和RAM角色)來訪問數(shù)據(jù)傳輸服務(wù)DTS,以提高數(shù)據(jù)安全性,減少因權(quán)限濫用導(dǎo)致的安全風(fēng)險(xiǎn)。 | ||
賬號(hào)權(quán)限管控 | 通過授權(quán)系統(tǒng)權(quán)限策略,訪問當(dāng)前云賬號(hào)下的RDS、ECS等云資源;通過足夠權(quán)限的數(shù)據(jù)庫賬號(hào),完成相應(yīng)的數(shù)據(jù)傳輸任務(wù)。 | ||
可靠性 | 集群高可用 | 使用高規(guī)格服務(wù)器來保證每條遷移或同步鏈路都能擁有良好的傳輸性能。 | |
斷點(diǎn)續(xù)傳 | 具有自動(dòng)斷點(diǎn)續(xù)傳機(jī)制,有效地保證數(shù)據(jù)傳輸?shù)目煽啃浴?/p> | ||
數(shù)據(jù)源容災(zāi)守護(hù) | 源庫或目標(biāo)庫無法連接或出現(xiàn)其他問題時(shí),DTS支持立即進(jìn)行持續(xù)的重試操作。 | - |
數(shù)據(jù)集成
ETL支持通過可視化拖拉拽操作、Flink SQL語句配置任務(wù),并結(jié)合DTS的高效流數(shù)據(jù)復(fù)制能力,可以實(shí)現(xiàn)流式數(shù)據(jù)的抽取、數(shù)據(jù)轉(zhuǎn)換和加工、數(shù)據(jù)裝載。在降低開發(fā)門檻和業(yè)務(wù)系統(tǒng)影響的同時(shí)提升效率,豐富企業(yè)實(shí)時(shí)數(shù)據(jù)處理和計(jì)算場(chǎng)景,賦能企業(yè)數(shù)字化轉(zhuǎn)型。
功能集 | 功能 | 功能描述 | 參考文檔 |
讀寫分離與分流 | TP實(shí)時(shí)緩存 | 支持將MySQL數(shù)據(jù)庫(例如自建MySQL或RDS MySQL)遷移至Redis實(shí)例,降低后端關(guān)系型數(shù)據(jù)庫的負(fù)載,從而提升用戶體驗(yàn)。 | |
元信息過濾與映射 | 庫表列過濾 | 在配置任務(wù)對(duì)象時(shí),支持以庫、表、列的粒度的選擇任務(wù)對(duì)象。 | - |
DDL&DML過濾 | 在配置同步或遷移任務(wù)對(duì)象時(shí),支持使用SQL操作來過濾需要進(jìn)行增量同步或遷移的數(shù)據(jù)。 | - | |
庫表列名映射 | 在配置同步或遷移任務(wù)對(duì)象時(shí),支持設(shè)置任務(wù)對(duì)象(庫、表、列)在目標(biāo)庫實(shí)例中的名稱。您可以使用此功能將數(shù)據(jù)同步或遷移到目標(biāo)庫實(shí)例的指定對(duì)象中,或在目標(biāo)庫實(shí)例中創(chuàng)建一個(gè)與任務(wù)對(duì)象結(jié)構(gòu)相同但名稱不同的對(duì)象。 | ||
拓?fù)溆成?/p> | 數(shù)據(jù)同步功能支持多種同步拓?fù)洌梢愿鶕?jù)業(yè)務(wù)需求規(guī)劃您的同步實(shí)例。 | ||
數(shù)據(jù)過濾處理與映射 | WHERE條件過濾 | 在配置同步或遷移任務(wù)對(duì)象時(shí),您可以通過設(shè)置過濾條件,將源數(shù)據(jù)庫中滿足您需求的數(shù)據(jù)同步或遷移到目標(biāo)數(shù)據(jù)庫。 | |
數(shù)據(jù)類型映射 | 在進(jìn)行異構(gòu)數(shù)據(jù)庫之間的數(shù)據(jù)同步或遷移時(shí),會(huì)在結(jié)構(gòu)同步或遷移階段進(jìn)行數(shù)據(jù)類型映射,即將源庫中的數(shù)據(jù)類型轉(zhuǎn)為目標(biāo)庫支持的數(shù)據(jù)類型。 |
數(shù)據(jù)校驗(yàn)
數(shù)據(jù)校驗(yàn)是DTS提供的用于監(jiān)控源庫與目標(biāo)庫數(shù)據(jù)差異的功能,支持在不停服的情況下對(duì)源庫和目標(biāo)庫進(jìn)行校驗(yàn),幫助您及時(shí)發(fā)現(xiàn)數(shù)據(jù)和結(jié)構(gòu)不一致的問題。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構(gòu)校驗(yàn) | 元數(shù)據(jù)校驗(yàn) | 支持對(duì)同構(gòu)數(shù)據(jù)的結(jié)構(gòu)進(jìn)行校驗(yàn)。 | |
全量數(shù)據(jù)校驗(yàn) | 支持對(duì)同構(gòu)數(shù)據(jù)庫的存量數(shù)據(jù)進(jìn)行校驗(yàn)。 | ||
增量數(shù)據(jù)校驗(yàn) | 支持對(duì)同構(gòu)數(shù)據(jù)庫間的增量同步或遷移數(shù)據(jù)校驗(yàn)。 | ||
異構(gòu)校驗(yàn) | 元數(shù)據(jù)等效校驗(yàn) | 支持對(duì)異構(gòu)數(shù)據(jù)的結(jié)構(gòu)進(jìn)行校驗(yàn)。 | |
全量數(shù)據(jù)校驗(yàn) | 支持對(duì)異構(gòu)數(shù)據(jù)庫的存量數(shù)據(jù)進(jìn)行校驗(yàn)。 | ||
增量數(shù)據(jù)校驗(yàn) | 支持對(duì)異構(gòu)數(shù)據(jù)庫間的增量同步或遷移數(shù)據(jù)校驗(yàn)。 | ||
訂正 | 元數(shù)據(jù)訂正 | 當(dāng)校驗(yàn)出數(shù)據(jù)結(jié)構(gòu)不一致時(shí),可以根據(jù)校驗(yàn)結(jié)果進(jìn)行訂正。 | |
全量數(shù)據(jù)訂正 | 當(dāng)校驗(yàn)出全量數(shù)據(jù)不一致時(shí),可以根據(jù)校驗(yàn)結(jié)果并下載訂正SQL進(jìn)行訂正。 | ||
增量數(shù)據(jù)訂正 | 當(dāng)校驗(yàn)出增量數(shù)據(jù)不一致時(shí),可以根據(jù)校驗(yàn)結(jié)果進(jìn)行訂正。 |
場(chǎng)景化解決方案產(chǎn)品
DTS場(chǎng)景化解決方案產(chǎn)品。
功能集 | 功能 | 功能描述 | 參考文檔 |
ZeroETL | PolarDB MySQL版同步至AnalyticDB MySQL 3.0 | 聯(lián)邦分析使用AnalyticDB MySQL的免費(fèi)高速數(shù)據(jù)管道服務(wù)(APS)將PolarDB MySQL中的數(shù)據(jù)實(shí)時(shí)同步至AnalyticDB MySQL湖倉版(3.0)集群中,幫助您一站式完成數(shù)據(jù)同步與管理。 |