質量評估通過用戶自定義質量檢查計劃,根據用戶設置的數據質量規則執行面向不同計算資源的質量檢查任務,通過數據質量監控報告展現系統整體數據質量概覽及多維度細分數據的質量情況。
質量評估通過完整性、準確性、一致性、唯一性、時效性、規范性等六個維度構建數據質量指標體系,來實現對數據質量的量化評估。
完整性:數據完整性是指一個數據集的特定字段或屬性都被賦予了數值。
準確性:數據準確性是指數據準確的反映其所建模的“真實世界”的實體。
一致性:數據一致性是指確保兩個數據集之間或一個數據集內部不同字段間數值或信息的一致。
唯一性:數據唯一性是指在一個數據集中,沒有重復的記錄或信息。
時效性:數據時效性是指數據集按時、按量的更新程度。
規范性:數據規范性是指數據集對數據標準的滿足程度。
質量規則管理
質量規則管理頁面,查看數倉中配置的全部規則,包括表規則、字段規則、自定義規則。
支持對所有的物理表統一配置的規則。
支持根據資源類型、邏輯表名稱、規則名稱、啟停狀態對規則進行篩選和查詢。
支持對規則的刪除、啟停操作,刪除和啟停后規則的狀態需要在數倉同步進行更新。
支持對全部規則、和選中規則進行導入和導出。
支持一鍵更新生產場景中的質量規則。
質量檢測計劃管理
支持對質量檢測計劃的創建,可批量選擇需要周期執行且已配置好質量規則的數據模型,配置周期檢測任務和調度,進行持續質量檢測。
支持對計劃任務的管理、啟動、停止和試跑。
支持對物理表質量結果進行告警訂閱,在全景監控模塊進行預警(依賴全景監控)。
質量檢測任務管理
支持對質量檢測任務運行實例進行查詢和管理。
支持查看任務實例運行結果詳情、運行日志進行查看。
支持對質量結果任務運行實例明細進行導出。
質量評估報告
支持根據系統數據質量監測運行結果以天的維度自動生成系統整體質量監控報告。
支持根據數據唯一性、準確性、規范性、一致性、時效性和完整性進行多維度評估分析。
物理表監控明細
支持以物理表為維度,查看物理表在數據開發和質量計劃檢測中最新的數據質量結果。
支持對物理表歷史質量實例運行記錄進行查看。
支持下載失敗數據的臟數據樣例至本地進行查看。