支持的數(shù)據(jù)源及同步方案
在配置同步任務(wù)前,您需要在數(shù)據(jù)源管理頁面配置好需要同步的數(shù)據(jù)源。數(shù)據(jù)集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等幾十種數(shù)據(jù)源,各數(shù)據(jù)源支持的同步方案及讀寫插件不同,您可以根據(jù)實(shí)際需求,在配置同步任務(wù)中的源端和目標(biāo)端時(shí)選擇合適的數(shù)據(jù)源。
支持的數(shù)據(jù)源及同步方案
數(shù)據(jù)集成包括離線同步、實(shí)時(shí)同步和全增量同步任務(wù)三個(gè)功能模塊,您可以根據(jù)各模塊對數(shù)據(jù)源的支持情況,選擇對應(yīng)的功能模塊進(jìn)行同步任務(wù)的配置。
DataWorks離線同步為您提供數(shù)據(jù)讀取(Reader)和寫入插件(Writer),以實(shí)現(xiàn)對數(shù)據(jù)源的讀寫操作。
DataWorks實(shí)時(shí)同步支持您將多種輸入及輸出數(shù)據(jù)源搭配組成同步鏈路進(jìn)行單表或整庫數(shù)據(jù)的實(shí)時(shí)增量同步。
DataWorks還為您提供多種數(shù)據(jù)源之間進(jìn)行不同數(shù)據(jù)同步場景(整庫離線同步、全增量實(shí)時(shí)同步)的同步。
實(shí)時(shí)同步場景下,各數(shù)據(jù)源支持的DDL與DML處理策略,詳情請參見:支持的DML及DDL操作。
具體任務(wù)配置與實(shí)現(xiàn)您可進(jìn)入離線同步、實(shí)時(shí)同步、同步解決方案模塊進(jìn)行操作。
數(shù)據(jù)源 | 離線同步 | 實(shí)時(shí)同步 | 全增量同步任務(wù) | |||||||
單表讀 | 單表寫 | 單表增量讀 | 單表增量寫 | 整庫增量讀 | 整庫增量寫 | 整庫離線讀 | 整庫離線寫 | 單表/整庫全增量實(shí)時(shí)讀 | 單表/整庫全增量實(shí)時(shí)寫 | |
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
|
| - | - | - | - | - | - | - | - | |
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | |||||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - |