在配置同步任務前,您需要在數據源管理頁面配置好需要同步的數據源。數據集成目前支持MySQL、MaxCompute、Hologres、OSS、Kafka等幾十種數據源,各數據源支持的同步方案及讀寫插件不同,您可以根據實際需求,在配置同步任務中的源端和目標端時選擇合適的數據源。
支持的數據源及同步方案
數據集成包括離線同步、實時同步和全增量同步任務三個功能模塊,您可以根據各模塊對數據源的支持情況,選擇對應的功能模塊進行同步任務的配置。
DataWorks離線同步為您提供數據讀取(Reader)和寫入插件(Writer),以實現對數據源的讀寫操作。
DataWorks實時同步支持您將多種輸入及輸出數據源搭配組成同步鏈路進行單表或整庫數據的實時增量同步。
DataWorks還為您提供多種數據源之間進行不同數據同步場景(整庫離線同步、全增量實時同步)的同步。
實時同步場景下,各數據源支持的DDL與DML處理策略,詳情請參見:支持的DML及DDL操作。
數據源 | 離線同步 | 實時同步 | 全增量同步任務 | |||||||
單表讀 | 單表寫 | 單表增量讀 | 單表增量寫 | 整庫增量讀 | 整庫增量寫 | 整庫離線讀 | 整庫離線寫 | 單表/整庫全增量實時讀 | 單表/整庫全增量實時寫 | |
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
|
| - | - | - | - | - | - | - | - | |
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | |||||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | ||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | ||||||
- | - | - | - | - | ||||||
- | - | - | - | - | - | |||||
- | - | - | - | |||||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | |||||
- | - | - | - | - | - | - | ||||
- | - | - | - | - | - | - | - | |||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - | - | ||
- | - | - | - | - | - | - | - |