數據同步支持實時同步任務的新建,并支持一鍵啟動多個上云任務,實現全量任務自動建表。本文以同步Kafka數據源到DataHub目標端為例,介紹如何新增實時任務。
前提條件
操作步驟
登錄數據資源平臺控制臺。
在頁面左上角,單擊圖標,選擇協同。
在頂部菜單欄,單擊圖標,選擇目標工作組,單擊資產加工。
在左側導航欄,單擊圖標,將鼠標懸停在實時數據同步上,單擊圖標。
在實時數據同步頁面右上角,單擊新增任務。
配置任務基本信息:在實時數據同步管理頁面上方,填寫任務名稱、所屬類目、描述。
配置同步資源,包括源端和目標端。
在源端配置區域,選擇數據源、topic、消息格式、模板。
說明單擊查看同步鏈路支持范圍,可查看實時同步鏈路源端和目標端支持范圍。
在數據源下拉列表,單擊創建數據源,可在彈出的面板中新建云計算資源。
在目標端配置區域,選擇目標端、數據對象。
說明若目標端的數據對象中沒有與數據源的數據對象對應目標表,則可在數據對象下拉列表中,選擇創建目標表,在目標端中新建數據對象。
配置字段映射:在字段映射區域,系統默認為同名映射,可根據需要選擇同行映射或通過拖拽連線自定義完成字段映射。
配置通用控制。
參數
說明
表結構變化
選擇是否開啟檢測表結構變化。開啟后,以天為單位,進行數據源端表結構檢測。若發現表結構變更,則進行異常推送。異常信息可在“運維監控 - 全景監控”中查看。
資源組
選擇資源組。
資源規格
請設置任務實例運行需要的CPU內核(系統默認2個)與內存(系統默認1024 MB)。
讀延遲閾值
超出延遲閾值系統將報警并在任務中心顯示為異常。
重要當前默認值為推薦設置,請根據實際要求謹慎設置。
寫延遲閾值
點位延遲閾值
在頁面右側單擊調度配置,配置任務調度。
參數
說明
監控配置
開啟后,上線的同步任務將自動推送到監控運維的監控任務管理中,默認開啟監控配置。
配置完成后,在離線數據同步管理頁面左上角,單擊圖標。
系統提示任務創建成功。
相關操作
操作 | 說明 |
查看實時任務 | 在目標實時任務的操作列,單擊查看,可查看實時任務詳細內容。 |
修改實時任務 | 在目標實時任務的操作列,單擊修改,可對實時任務進行修改。 |
刪除實時任務 |
|
后續步驟
新增實時任務后,需要對任務進行上線操作,具體操作,請參見上線實時任務。