模板分類

模板說明

完整性

字段空值校驗

用于對單字段是否是空值進行校驗。

字段空字符串校驗

用于對單個字段是否是空字符串進行校驗。

唯一性

字段唯一性校驗

用于對單字段唯一值/非唯一值進行校驗。

字段分組個數校驗

用于對單字段數據進行去重值校驗。

字段重復值個數校驗

用于對單個字段重復且多余的數據進行校驗。

及時性

時間函數比較

用于對單字段和業務日期之間的及時性的對比。

單表時間字段比較

用于對同一表的兩列的時間差進行比較。

兩表時間字段比較

用于對不同表的兩列的時間差進行比較。

有效性

字段格式校驗

用于識別表達式或者正則表達式對單字段的格式進行校驗。

字段長度校驗

用于對單字段的長度進行校驗。

字段值域校驗

用于對單字段的取值范圍進行校驗。

碼表參照對比

支持對單字段是否在碼表中進行判斷。

數據標準碼表參照對比

支持對單字段是否在碼表中進行判斷，支持直接選擇數據標準模塊維護的碼表。

一致性

單表字段值一致性比較

用于對同一表兩個字段原值進行數據的對比。

單表字段統計值一致性比較

用于對同一表兩個字段進行統計數據的對比，如求和值、最大值等。

單字段業務邏輯一致性比較

用于對同一表多個字段的復雜業務邏輯是否正確進行校驗。

兩表字段值一致性比較

用于對不同表兩個字段原值進行數據的對比。

兩表字段統計值一致性比較

用于對不同表兩個字段進行統計數據的對比，如求和值、最大值等。

兩表字段業務邏輯一致性比較

用于對不同表多個字段的復雜業務邏輯是否正確進行校驗，如：銷售總金額=單價*數量。

跨源兩表字段統計值一致性比較

用于對跨數據源的兩個表兩個字段的復雜業務邏輯是否正確進行校驗。

穩定性

表穩定性校驗

用于對表/分區的大小、行數的穩定性進行校驗，統計結果和固定值進行比較。

表波動性校驗

用于對表/分區的大小、行數的波動性進行校驗，統計結果和歷史進行比較。

字段穩定性校驗

用于對字段的平均值、最大值等穩定性進行校驗，統計結果和固定值進行比較。

字段波動性校驗

用于字段的平均值、最大值等波動性進行校驗，統計結果和歷史進行比較。

自定義SQL

自定義統計指標校驗

用于對表的統計指標進行校驗，支持固定值和波動性兩種比較方式。

自定義數據詳情校驗

用于對表的詳情數據進行自定義校驗。支持自定義正常行數和異常行數，并支持異常歸檔。

模板分類

模板說明

穩定性

數據源連通性監測

用于對數據源的連通性進行監控。

表結構異動監測

用于對表的元數據變動進行監控。

模板詳情分類

描述

一致性

實時離線對比

當實時數據與離線數據使用相同的統計邏輯時，用于數據的最終值差異的校驗。如果差異較大，可能存在較大數據質量的問題需要進行確認和修復。

實時多鏈路對比

• 高可用場景下，需要構建多條鏈路，以便數據出現異常時，能夠及時切換。

• 對于多鏈路之間的數據計算進度監控則可以發現一些數據滯留、統計偏差問題，提升實時數據質量。

穩定性

實時統計值檢測

• 實時數據為指標值或可統計數據時，用于判斷數據是否正確

• 可選擇和固定值或者歷史進行對比。