DataWorks的全流程數據質量監控功能為您提供35種預設表級別、字段級別和自定義的監控模板。
數據質量幫助您第一時間感知到源端數據的變更與ETL(Extract Transformation Load)中產生的臟數據,自動攔截問題任務,有效阻斷臟數據向下游蔓延。
說明 ETL是抽取、轉換和加載源端數據至目的端的過程。
數據質量以數據集(DataSet)為監控對象,支持監控MaxCompute數據表和DataHub實時數據流。當離線MaxCompute數據發生變化時,數據質量會對數據進行校驗,并阻塞生產鏈路,以避免問題數據污染擴散。同時,數據質量提供歷史校驗結果的管理,以便您對數據質量進行分析和定級。詳情請參見數據質量。
數據質量為您解決以下問題:
- 數據庫頻繁變更問題
- 業務頻繁變化問題
- 數據定義問題
- 業務系統的臟數據問題
- 系統交互導致質量問題
- 數據訂正引發的問題
- 數據倉庫自身導致的質量問題