舊版數(shù)據(jù)質(zhì)量
數(shù)據(jù)質(zhì)量幫助您第一時(shí)間感知源端數(shù)據(jù)的變更與ETL（Extract Transformation Load）中產(chǎn)生的臟數(shù)據(jù)，自動(dòng)攔截問題任務(wù)，有效阻斷臟數(shù)據(jù)向下游蔓延。避免任務(wù)產(chǎn)出不符合預(yù)期的問題數(shù)據(jù)，影響正常使用和業(yè)務(wù)決策。同時(shí)也能顯著降低問題處理的時(shí)間成本，避免任務(wù)重新運(yùn)行帶來的資源費(fèi)用浪費(fèi)。
費(fèi)用說明
數(shù)據(jù)質(zhì)量規(guī)則運(yùn)行產(chǎn)生的費(fèi)用由兩部分組成：
DataWorks相關(guān)收費(fèi)
根據(jù)數(shù)據(jù)質(zhì)量規(guī)則實(shí)例數(shù)進(jìn)行按量收費(fèi)，詳情請參見：數(shù)據(jù)質(zhì)量計(jì)費(fèi)說明。
非DataWorks收費(fèi)
數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)會(huì)產(chǎn)生校驗(yàn)SQL并下推到引擎執(zhí)行，數(shù)據(jù)質(zhì)量規(guī)則運(yùn)行將會(huì)產(chǎn)生引擎費(fèi)用，各引擎計(jì)費(fèi)細(xì)則請參考各引擎計(jì)費(fèi)文檔。例如，假設(shè)您使用MaxCompute引擎按量付費(fèi)模式時(shí)，數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)將會(huì)產(chǎn)生MaxCompute引擎費(fèi)用，此費(fèi)用由MaxCompute引擎?zhèn)仁杖。辉贒ataWorks賬單中體現(xiàn)。
功能介紹
數(shù)據(jù)質(zhì)量支持對常見大數(shù)據(jù)存儲(chǔ)（MaxCompute、E-MapReduce Hive、Hologres等）進(jìn)行質(zhì)量校驗(yàn)。從完整性、準(zhǔn)確性、有效性、一致性、唯一性和及時(shí)性等多個(gè)維度，配置質(zhì)量監(jiān)控規(guī)則。并可以將質(zhì)量監(jiān)控規(guī)則與調(diào)度節(jié)點(diǎn)進(jìn)行關(guān)聯(lián)，當(dāng)任務(wù)運(yùn)行完成后便會(huì)觸發(fā)質(zhì)量規(guī)則校驗(yàn)，幫助您第一時(shí)間感知問題數(shù)據(jù)，按需設(shè)置規(guī)則的強(qiáng)弱來控制任務(wù)是否失敗退出，從而避免臟數(shù)據(jù)影響擴(kuò)大，有效降低數(shù)據(jù)恢復(fù)處理的時(shí)間成本和費(fèi)用成本。
數(shù)據(jù)質(zhì)量各模塊功能介紹如下：
名稱 | 描述 |
數(shù)據(jù)質(zhì)量概覽頁面為您展示數(shù)據(jù)質(zhì)量報(bào)警與阻塞情況。包括：
| |
我的訂閱頁面為您展示當(dāng)前登錄賬號(hào)下通過短信，郵件接收報(bào)警的數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則。此外，數(shù)據(jù)質(zhì)量還支持通過釘釘群機(jī)器人、企業(yè)微信機(jī)器人和飛書群機(jī)器人等方式發(fā)送報(bào)警信息。 | |
數(shù)據(jù)質(zhì)量支持按表配置或按模板配置質(zhì)量監(jiān)控規(guī)則，詳情請參見：配置規(guī)則：按表（單表）、配置規(guī)則：按模板（批量）。 | |
在任務(wù)查詢頁面您可以通過表或節(jié)點(diǎn)搜索表歷史校驗(yàn)記錄及校驗(yàn)詳情。 | |
去噪管理功能支持對當(dāng)前工作空間某一時(shí)間內(nèi)，數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)異常的數(shù)據(jù)不觸發(fā)報(bào)警，且不阻塞任務(wù)運(yùn)行。 | |
報(bào)告模板管理頁面支持您創(chuàng)建報(bào)告模板，添加規(guī)則配置和規(guī)則運(yùn)行的各項(xiàng)指標(biāo)，根據(jù)設(shè)置的統(tǒng)計(jì)周期、發(fā)送時(shí)間和訂閱信息，定時(shí)生成并發(fā)送報(bào)告。 | |
數(shù)據(jù)質(zhì)量支持自建規(guī)則模板庫，對通用的自定義監(jiān)控規(guī)則進(jìn)行統(tǒng)一管理，形成自建的規(guī)則模板庫，幫助您提升規(guī)則配置的效率。 |
注意事項(xiàng)
EMR、Hologres、analyticDB for PostgreSQL、CDH在進(jìn)行數(shù)據(jù)質(zhì)量規(guī)則配置前，需要先進(jìn)行元數(shù)據(jù)采集，詳情請參見元數(shù)據(jù)采集。
EMR、Hologres、analyticDB for PostgreSQL、CDH配置表數(shù)據(jù)質(zhì)量規(guī)則后，產(chǎn)出表數(shù)據(jù)的調(diào)度節(jié)點(diǎn)需要使用網(wǎng)絡(luò)已經(jīng)連通的獨(dú)享調(diào)度資源組執(zhí)行才可以正常觸發(fā)數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)。
一個(gè)表可以配置多個(gè)數(shù)據(jù)質(zhì)量規(guī)則。
使用場景
在離線數(shù)據(jù)校驗(yàn)場景下，數(shù)據(jù)質(zhì)量通過表配置的分區(qū)表達(dá)式來匹配節(jié)點(diǎn)每天產(chǎn)出的表分區(qū)，數(shù)據(jù)質(zhì)量規(guī)則關(guān)聯(lián)產(chǎn)出該表數(shù)據(jù)的調(diào)度節(jié)點(diǎn)，當(dāng)任務(wù)運(yùn)行完成便會(huì)觸發(fā)質(zhì)量規(guī)則校驗(yàn)，您可以設(shè)置規(guī)則的強(qiáng)弱來控制節(jié)點(diǎn)是否失敗退出，從而避免臟數(shù)據(jù)影響擴(kuò)大，并支持通過報(bào)警配置第一時(shí)間接收報(bào)警信息并處理。
配置規(guī)則
創(chuàng)建規(guī)則：數(shù)據(jù)質(zhì)量支持您按表創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則，同時(shí)，也支持您通過內(nèi)置規(guī)則模板來快速為一批表批量創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則。詳情請參見：配置規(guī)則：按表（單表）、配置規(guī)則：按模板（批量）。
訂閱規(guī)則：規(guī)則創(chuàng)建完成后，您可以通過規(guī)則訂閱的方式接收數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)報(bào)警信息，支持郵件通知、郵件和短信通知、釘釘群機(jī)器人、釘釘群機(jī)器人@ALL、飛書群機(jī)器人、企業(yè)微信機(jī)器人和自定義Webhook等方式進(jìn)行報(bào)警。
說明僅DataWorks企業(yè)版版本支持使用自定義Webhook方式。
觸發(fā)規(guī)則校驗(yàn)
在運(yùn)維中心中，當(dāng)表關(guān)聯(lián)的調(diào)度節(jié)點(diǎn)運(yùn)行（執(zhí)行節(jié)點(diǎn)代碼邏輯）完成后，將會(huì)觸發(fā)數(shù)據(jù)質(zhì)量校驗(yàn)（將會(huì)產(chǎn)生一條校驗(yàn) SQL 在底層執(zhí)行）。DataWorks平臺(tái)將會(huì)根據(jù)數(shù)據(jù)質(zhì)量規(guī)則強(qiáng)弱和數(shù)據(jù)質(zhì)量規(guī)則校驗(yàn)結(jié)果決定任務(wù)是否由于質(zhì)量規(guī)則校驗(yàn)失敗而退出，并阻塞下游節(jié)點(diǎn)執(zhí)行，防止臟數(shù)據(jù)影響范圍進(jìn)一步擴(kuò)大。
查看校驗(yàn)結(jié)果
您可以通過運(yùn)維中心節(jié)點(diǎn)運(yùn)行日志和數(shù)據(jù)質(zhì)量任務(wù)查詢頁面查看數(shù)據(jù)質(zhì)量校驗(yàn)結(jié)果。
通過運(yùn)維中心節(jié)點(diǎn)運(yùn)行日志查看
查看實(shí)例狀態(tài)。當(dāng)實(shí)例狀態(tài)為質(zhì)量監(jiān)控校驗(yàn)失敗時(shí)，可能是代碼運(yùn)行成功但節(jié)點(diǎn)產(chǎn)出的表數(shù)據(jù)不符合預(yù)期，數(shù)據(jù)質(zhì)量強(qiáng)規(guī)則校驗(yàn)未通過導(dǎo)致任務(wù)失敗退出并阻塞下游實(shí)例運(yùn)行。
打開實(shí)例運(yùn)行日志中的DQC日志，查看數(shù)據(jù)質(zhì)量校驗(yàn)結(jié)果。詳情請參見查看周期實(shí)例。
通過數(shù)據(jù)質(zhì)量任務(wù)查詢界面查看。
在任務(wù)查詢界面通過表或節(jié)點(diǎn)搜索校驗(yàn)記錄及校驗(yàn)詳情。詳情請參見：查看監(jiān)控任務(wù)。