本文為您介紹如何創建數據節點。完成創建后,您可以在 數據節點 頁面,查看當前租戶下的所有數據節點。節點列表支持按照數據節點名稱進行篩選(支持模糊匹配),還支持按類型(文件、DB、離線)進行篩選。
創建數據節點
登錄資金安全監控控制臺,在左側導航欄單擊 數據節點。
在數據節點列表頁,單擊 新建數據節點。
在 新建數據節點 頁面,填寫以下基本信息:
數據節點名稱:節點的名稱,租戶內唯一。長度為 1-100 個字符,可包含中英文、數字和下劃線(_)。
創建類:支持 文件、DB、離線。一旦完成創建,該項不能修改。
描述:節點的備注信息,選填。長度為 1-500 個字符。
根據上一步選擇的 創建類,進行相應的配置。
文件/DB
數據源:選擇對應的數據源配置,也可通過輸入數據源配置名稱關鍵字來選擇。如果尚未創建數據源配置,可單擊右側的 新建數據源配置。詳情請參見 創建數據源配置。
參與核對字段:需要參與核對的字段。對于 文件 是指文件屬性中的字段。對于 DB 是指 SQL 中查詢出來的字段。
說明如果有多個需要參與核對的字段,則中間用英文逗號(,)隔開。
排序字段:用于指定對當前數據進行排序所依據的字段。可從輸入的核對字段中選擇。
取數策略:可選擇 每次取 1 行 或 取固定字段。
每次取 1 行:核對時從排序后的數據中兩邊各取一條數據,然后進行比較。
取固定字段:將值相同的數據一次取出。
重要該固定字段必須與排序字段相同。
散列字段:用于數據分片時進行散列計算的字段。當核對的數據量較大時,可選擇參與核對字段的某個字段,針對某幾位進行散列,讀取到的數據就會按照散列后的值散列到不同分片中,支持后續并發排序和核對,從而提升核對效率。
說明散列字段可以與排序字段保持一致。
散列位數:自定義的散列位數。例如 4-6,表示取 4、5 兩位。
高級配置:默認保持關閉。如果開啟,則需要填寫過濾表達式。
說明關于 過濾表達式,即對數據進行逐條過濾處理,支持 Groovy 語法。
是否匯總核對:默認保持關閉。如果開啟,需配置相關參數(見下圖)。如需配置多條,單擊 新增屬性 即可。
離線
離線數據源配置:選擇對應的離線數據源配置,也可通過輸入數據源配置名稱關鍵字來選擇。如果尚未創建離線數據源配置,可單擊右側的 新建數據源配置。詳情請參見 創建數據源配置。
離線表:選擇用于核對的 ODPS 表。
說明ODPS 表支持模糊匹配,如果匹配不到,建議您確認項目名、表名。
配置完成后,單擊 提交。
上述操作完成后,可在數據節點列表頁面,看到剛創建的節點。
查看數據點詳情
單擊數據節點列表內數據節點名稱,進入 數據節點詳情 頁面,即可查看數據節點詳情,主要包含以下兩部分內容:
基本信息(圖示中 ①)
配置信息(圖示中 ②)
修改數據節點
單擊數據節點列表操作列的 修改,進入 修改數據節點 頁面。
根據需要修改節點信息。
完成后單擊 提交 保存修改。修改后的節點信息將在關聯的核對點中同步生效。