數據同步為用戶提供批量、實時多源異構數據的便捷同步或接入能力,系統提供完善的數據接入配置、任務運行監控等功能,有效保障數據接入的穩定性和可控性,滿足各類平臺、數據源及應用系統間的數據匯聚需求。同時支持對存儲在基于ArcGIS、超圖等主流GIS平臺、開源PostGIS空間數據庫中的各類空間數據進行同步匯聚(邀測中)。
通過數據同步的自定義同步任務配置能力,可實現快速創建周期數據同步任務和實時同步任務。用戶可選擇已經注冊的數據源端數據,并選定目標端創建同步任務。系統提供目標端自動建表、源端目標端字段自動映射、批量創建同步任務和引用數據模塊進行同步任務配置等多種便捷同步任務創建能力,幫助用戶更便捷的完成數據同步配置。
在完成數據同步配置后,數據同步模塊可對數據同步任務的執行和運行情況進行全面的監控運維。可對任務總數、線上任務、正運行任務等核心指標進行統計,并可以實現異常任務執行狀態的監控,當前實例狀態監控。對任務的開始時間、結束時間、耗時、速率、狀態和執行日志等信息進行跟蹤和展示,并支持周期任務重跑。
數據源管理
支持對數據同步的數據源端和目標端進行統一的注冊和管理,支持對關系型數據庫、文件、消息隊列等多種類型數據源的配置,并可對所填寫數據源的連通性進行有效性驗證。
支持對已配置連通的數據源進行元數據同步及數據對象查看,幫助用戶了解元數據資產內容。
數據模板管理
針對半結構化、非結構化數據,支持創建數據模板,支持自定義數據字段及字段類型,并提供編輯、刪除等功能。
支持在離線數據同步、實時數據同步任務中引用已添加的數據模板,根據數據模板定義的數據結構執行數據同步任務。
離線數據同步
支持單表離線任務、批量離線任務的新建。
支持自定義選擇已經注冊的數據源端數據和目標端,支持多種常見離線同步鏈路,如PostGIS、Ganos、超圖SDX和ArcGIS SDE的空間數據同步到PostGIS和Ganos中(邀測中)。
提供全量任務自動建表、同名字段自動映射、任務調度配置功能。
支持對離線任務實例的運行屬性和運行日志進行監看。
支持對非增量離線同步實例進行實例重跑。
實時數據同步
支持目標端為DataHub的單表實時任務的新建。
支持Oracle CDC、MySQL binlog、SQL Server CDC、RabbitMQ、Kafka五種實時數據同步模式。
提供完善的實時數據接入配置等功能,有效保障實時任務接入的穩定性和可控性。
配置化同步
支持通過自定義腳本配置離線、實時同步任務,支持引用數據源端Reader讀取規范和目標端Writer寫入規范快速配置同步任務腳本。
支持配置腳本同步任務調度、上游節點依賴及運行資源配置。
通過測試上線運行的腳本任務,支持在運維監控中查看運行屬性指標和運行日志。