DataWorks的數據集成功能模塊是穩定高效、彈性伸縮的數據同步平臺,致力于提供復雜網絡環境下、豐富的異構數據源之間高速穩定的數據移動及同步能力。
功能概述
DataWorks的數據集成支持離線同步、實時同步,以及離線和實時一體化的全增量同步。其中:
離線同步場景下,支持設置離線同步任務的調度周期。
支持關系型數據庫、數倉、非關系型數據庫、文件存儲、消息隊列等近50多種不同異構數據源之間的數據同步。
支持在各類復雜網絡環境下,連通數據源的網絡解決方案,無論數據源在公網、IDC還是VPC內,均可使用DataWorks數據集成實現網絡連通。
支持安全控制與運維監控,保障數據同步的安全、可控。
核心技術與架構
引擎架構采用星形引擎架構,數據源接入數據集成后,即可與其他各類型數據源組成同步鏈路進行數據同步。當前支持的數據源請參見支持的數據源及同步方案。
數據集成資源組與網絡連通
如上圖所示,進行數據同步前,需通過合適的網絡連通方案將數據源和資源組間的網絡連通。當前僅支持使用Serverless資源組(推薦)和舊版獨享數據集成資源組運行數據集成任務,網絡連通方案詳情請參見網絡連通方案。
適用場景
DataWorks數據集成適用于數據入湖入倉、分庫分表、實時數據歸檔、云間數據流轉等數據傳輸場景。
計費
運行數據集成同步任務的相關費用如下:
DataWorks側收費(費用在DataWorks相關賬單中)
數據同步費用:請參見數據集成計費說明。
任務調度費用:若同步任務發布至生產環境調度運行,會產生調度費用。詳情請參見任務調度計費說明。
(可選)DataWorks版本費用:如使用非基礎版DataWorks,會收取相應版本費用。詳情請參見DataWorks版本服務計費說明。
非DataWorks側收費(費用不在DataWorks相關賬單中)
運行數據集成任務時,部分可能由
同步任務相關配置
產生的費用不在DataWorks收取。例如,同步上下游數據產生的數據庫費用
、計算引擎的計算和存儲費用
,所需網絡服務費用(如高速通道、共享帶寬、EIP)
等。說明任務配置完成后,請及時確認非DataWorks相關資源產生的費用問題。
開通使用
開通DataWorks版本后,您可按需購買資源組,選擇合適的同步方案開發數據集成任務。詳情請參見數據集成章節。