通過離線集成管道質量監控,Dataphin會自動為您監控數據表的質量,如果數據表有質量風險,系統會自動報警,通知告警接收人,幫助您及時了解數據表質量狀況。本文為您介紹如何配置質量規則。
權限說明
項目開發者支持創建集成任務、配置質量規則并提交發布任務。
質量管理員、數據源/表的質量負責人和超級管理員支持在集成任務中創建質量規則并發布。
新建離線管道質量監控
在Dataphin首頁,單擊頂部菜單欄的研發。
按照下圖指引進入新建質量規則對話框,配置質量規則,監測數據表的質量(配置質量規則需開通資產質量模塊)。
依次單擊集成->選擇項目->單擊離線集成->選擇離線管道->單擊質量監控->單擊新建質量規則。
在新建質量規則對話框,配置質量規則參數。
參數
描述
規則模板
選擇規則模板,支持表結構異動監測、表穩定性校驗、表波動性校驗三個模板。
數據表
選擇該集成管道內適用該規則模板的生產環境數據表,點擊更多規則,可跳轉至數據質量模塊配置更多規則模板,詳情請參見創建數據表質量規則。
規則強度
選擇質量規則的強弱:
如果您選擇了強規則,則質量規則校驗的結果為異常時報警并阻塞下游任務節點。
如果您選擇了弱規則,則質量規則校驗的結果為異常時報警但不阻塞下游任務節點。
規則配置
當規則模板選擇表穩定性校驗、表波動性校驗需配置。根據所選規則模板不同而配置不同。詳情請參見數據表參數配置。
規則校驗
當規則模板選擇表穩定性校驗、表波動性校驗需配置。
數據質量規則校驗后,結果會和異常校驗的配置進行對比,符合條件則校驗結果為不通過;同時觸發告警等后續流程。
異常校驗可用指標由模板和配置內容決定,支持多種條件的and / or條件,實際配置中建議小于3條。
詳情請參見校驗配置說明。
調度方式
支持定時調度、本任務運行前調度和本任務完成后調度。
定時調度:按照設置的時間,周期性的對數據進行質量檢測,適合數據文檔產出的場景。
調度周期:包含日、周、月、小時、分鐘五種周期類型。
本任務運行前調度:在該集成任務運行前運行質量規則。
本任務完成后調度:在該集成任務運行且成功完成后運行質量規則。
分區表達式
若數據表為分區表,需配置分區表達式,支持分區表達式類型和自定義分區表達式。分區表達式詳情請參見內置分區表達式類型。
分區預算
當前時間下,根據分析表達式的推算分區。
單擊確定,完成質量規則配置。
說明質量規則配置完成后,建議在資產質量模塊查看當前監控對象是否已配置能覆蓋當前規則的告警,如需配置,請參見告警配置。
配置完成后,可在質量監控抽屜查看規則配置信息,同時您可以對未發布的規則執行編輯和刪除操作。
查看已發布質量規則
當打開集成管道的質量規則彈框,Dataphin會自動拉取該管道內所有數據表已配置并發布的所有質量規則,集成管道內僅支持創建質量規則,不支持編輯或修改已發布的規則,如需修改請前往資產質量頁面修改,詳情請參見創建數據表質量規則。