當調度任務觸發質量監控中的規則校驗時,您可以使用去噪管理功能,對當前工作空間內,數據質量規則校驗異常的數據不觸發報警,且不阻塞任務運行(任務不會因為數據質量校驗不通過而失敗退出)。
前提條件
已創建數據質量校驗規則,詳情請參見配置規則:按表(單表)或配置規則:按模板(批量)。
使用限制
僅阿里云主賬號支持創建并管理去噪規則。
去噪規則僅對當前工作空間內,規則的指定對象(去噪規則中指定的數據質量規則)生效。
創建去噪規則
進入去噪管理頁面。
在左側導航欄選擇
,在右上角單擊去噪管理。
創建去噪規則。
單擊右上角的創建去噪規則。
在彈出的創建去噪規則頁面,單擊添加去噪規則,配置如下參數。
參數
描述
業務日期
選擇需要進行去噪的業務日期,開啟去噪規則后,該業務日期對應的分區的數據不符合預期時將不阻塞任務運行。
規則類型
選擇需要去噪的數據質量校驗規則類型,支持選擇多種類型的數據質量校驗規則。
期望值
您可以將目標數據作為樣本值或基準值,為工作空間下指定類型的質量校驗規則進行去噪。
樣本值去噪:對指定時間內樣本數據進行數據質量校驗時,如果校驗異常,且需要不阻塞任務運行,則可選擇此功能,即上述業務時間數據不符合預期時,不會阻塞任務。
基準值去噪:當數據作為基準值,在一段時間內該基準值數據不符合預期,且需要不阻塞后續一段時間內的數據質量校驗,可選擇此功能。即上述業務時間的數據作為基準值校驗不符合預期時,不阻塞后續任務運行。
說明樣本
當天采集的具體的樣本的值。例如對于SQL任務表行數,1天波動檢測,則樣本是當天分區的表行數。
基準值
歷史樣本的對比值:
如果規則是SQL任務表行數,1天波動檢測,則基準值是前一天分區產生的表行數。
如果規則是SQL任務表行數,7天平均值波動檢測,則基準值是前7天的表行數據的平均值。
是否啟動
選擇是否開啟該降噪規則,開啟后當任務中存在質量規則校驗不通過的數據時將不阻塞任務運行。
單擊保存,完成去噪規則配置。
管理去噪規則
您可以在樣本去噪頁面,您可以查看已創建的去噪規則詳情,并對已創建的去噪規則進行編輯、刪除的操作。