同步節點即數據傳輸節點。本文介紹同步節點的各屬性配置參數說明。
節點屬性
節點屬性用于設置同步節點的基本信息,關鍵參數說明如下:
參數 | 說明 |
節點名稱 | 節點的名稱,支持用戶自定義。 |
節點標識 | 節點的唯一標識,支持用戶自定義,同一個工作組必須是唯一的,不可重復。 |
節點目錄 | 選擇節點的所屬目錄。 |
節點描述 | 自定義節點的描述信息。 |
運行配置
運行配置用于設置同步節點的云計算資源類型和輸入輸出鏈路,關鍵參數說明如下:
參數 | 說明 | ||
同步資源 | 源端配置 | 開發數據源 | 開發環境中傳輸鏈路輸入端的云計算資源類型和資源。 |
邏輯表 | 輸入表的數據格式,由數據模型定義,在下拉列表中選擇,表示該計算資源中提供數據的數據表的結構。
| ||
開發數據表 | 開發環境中源端輸入的物理表,在下拉列表中選擇。 | ||
生產數據源 | 生產環境中使用源端輸入的物理表所在資源。 | ||
生產數據表 | 生產環境中源端輸入的物理表,在下拉列表中選擇。 | ||
同步模式 |
| ||
增量字段 | 當選擇增量時,需同步選擇需要同步的增量字段。 | ||
自定義條件 | 過濾條件,例如輸入ID>12,表示將ID的值大于12的數據傳輸至目標路徑。 說明 僅當傳輸鏈路為ApsaraDB for RDS傳輸到MaxCompute時,才會顯示當前參數。 | ||
目標端配置 | 開發目標端 | 開發環境中傳輸鏈路輸出端的云計算資源類型。 | |
邏輯表 | 輸出表的數據格式,由數據模型定義,在下拉列表中選擇,表示該計算資源中輸出數據的數據表的結構。
| ||
開發數據表 | 開發環境中目標端輸出的物理表,在下拉列表中選擇。 | ||
生產目標端 | 生產環境中使用目標端輸出的物理表所在資源。 | ||
生產數據表 | 生產環境中目標端輸出使用的物理表。 | ||
分區字段 | 當選擇的物理表是分區表時,會自動識別出分區字段,并展示出來,用于設置分區的值。 | ||
寫入處理規則 |
說明 僅當傳輸鏈路為ApsaraDB for RDS傳輸到MaxCompute時,才會顯示當前參數。 | ||
字段映射 | 同名映射 | 單擊同名映射,則數據傳輸時,將源端表中數據傳輸至目標端表相同名稱的字段中。 | |
同行映射 | 單擊同行映射,則數據傳輸時,源端和目標端表的同行字段映射。 | ||
取消映射 | 取消設置的字段映射關系。 | ||
通用參數 | 依賴配置 | 當同步節點存在依賴關系時,打開依賴配置的開關,單擊右側的添加依賴節點,設置依賴節點的信息。
| |
表結構變化 | 當選中開啟檢測復選框后,以天為單位,進行數據源端表結構檢測。若發現表結構變更,則進行異常推送。異常信息可在“運維監控 - 全景監控”中查看。 | ||
開發資源組 | 測試時使用的資源組,支持選擇用戶自有的資源。 | ||
生產資源組 | 正式環境使用的資源組,支持選擇用戶自有的資源。 | ||
資源規格 | VCPU(核) | CPU配置,根據實際填寫。 | |
內存(M) | 內存配置,可根據實際配置。 | ||
速率 | 字節/秒 | 每個通道每秒傳輸的字節上限。 | |
記錄/條 | 每個通道每秒傳輸的記錄數上限。 |
調度配置
調度配置屬性作用于同步節點生產環境場景的調度周期和告警等參數,關鍵參數說明如下:
參數 | 說明 | |
周期調度 | 依賴本節點上一周期調度 | 選中后,則本次的調度依賴本節點上一周期調度的結果。 |
生效日期 | 該節點周期調度的有效時間段,設置后該節點在設置的日期內自動調度。用戶可自定義選擇起始時間和結束時間。
| |
調度周期 | 支持按月、周、天、小時和分鐘調度。 | |
具體時間 | 根據選擇的周期客戶自定義具體開始和結束的時間。 | |
時間表達式 | 根據上述的設置,自動生成時間表達式或者支持手動設置時間表達式。 | |
失敗重試 | 重試次數 | 單擊失敗重試后的開關,設置生產環境場景運行失敗后重新運行的次數。 |
重試間隔 | 設置每兩次重試之間的間隔時間。 | |
超時時間 | 重新運行的超時時間設置,即超過這個時間則重新運行一次。 | |
監控配置 | 負責人 | 告警接收負責人。默認為當前工作組的登錄賬號,當在全景監控設置責任人后可下拉選擇,具體操作,請參見新建人員。 |
告警分組 | 告警的組別分類。下拉選擇已創建的分組,具體操作,請參見新建告警分組。 | |
告警級別 | 告警的級別,分為異常和超時等。 |