查看內(nèi)置規(guī)則模板
數(shù)據(jù)質(zhì)量為您提供內(nèi)置表級別、字段級別的監(jiān)控模板。本文為您介紹數(shù)據(jù)質(zhì)量的校檢邏輯及內(nèi)置模板規(guī)則。
計算說明
計算波動率：您可以根據(jù)波動率計算公式（波動率=（樣本-基準(zhǔn)值）/基準(zhǔn)值）計算結(jié)果。
樣本
當(dāng)天采集的具體的樣本的值。例如對于SQL任務(wù)表行數(shù)，1天波動檢測，則樣本是當(dāng)天分區(qū)的表行數(shù)。
基準(zhǔn)值
歷史樣本的對比值：
如果規(guī)則是SQL任務(wù)表行數(shù)，相比7天前的波動率，則基準(zhǔn)值是7天前那一天分區(qū)產(chǎn)生的表行數(shù)。即今天的采樣結(jié)果與7天前那一天分區(qū)的結(jié)果比較波動率。
如果規(guī)則是SQL任務(wù)表行數(shù)，7天平均值波動檢測，則基準(zhǔn)值是前7天的表行數(shù)的平均值。即（7天內(nèi)每天表行數(shù)之和）/7。
校檢邏輯
數(shù)據(jù)質(zhì)量支持與固定值比較、波動值比較和動態(tài)閾值三種校檢方式。
校檢方式 | 校檢邏輯 |
與固定值比較 |
|
波動值比較 | 波動率支持比較上升、下降、絕對值三種類型，以波動率絕對值為例：
|
動態(tài)閾值 | 您無需手動設(shè)置閾值，系統(tǒng)會自動根據(jù)算法模型實(shí)時檢測指標(biāo)的正確性。如果超出合理的波動范圍，便進(jìn)行報警。 重要 您需要購買DataWorks企業(yè)版及以上版本，才可以使用動態(tài)閾值。 |
內(nèi)置模板規(guī)則說明
內(nèi)置模板分為表級和字段級的模板規(guī)則，支持您通過內(nèi)置規(guī)則模板來快速為一批表批量創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則。詳情請參見：配置規(guī)則：按表（單表）、配置規(guī)則：按模板（批量）。
表 1. 表級規(guī)則
模板名稱 | 描述 |
表行數(shù)，固定值。 | 表行數(shù)。 |
表行數(shù)，1，7，30天波動率。 | 同1天、1周和1個月前采集的表行數(shù)進(jìn)行比較，對比波動率。 說明 表的行數(shù)，分別與昨天的樣本、7天前的樣本和30天前的樣本來進(jìn)行數(shù)據(jù)比對，計算波動率，再與閾值進(jìn)行比較，只要其中有一個波動率超過閾值就會報警。 |
表行數(shù)，7天平均值波動率。 | 該模板用于監(jiān)控表行數(shù)的波動情況，基準(zhǔn)值是最近7天的表行數(shù)的平均值。即（7天內(nèi)每天表行數(shù)之和）/7。 |
表行數(shù)，30天平均值波動率。 | 該模板用于監(jiān)控表行數(shù)的波動情況，基準(zhǔn)值是最近30天的表行數(shù)的平均值。即（30天內(nèi)每天表行數(shù)之和）/30。 |
表行數(shù)，1天波動率。 | 基準(zhǔn)值為昨天的樣本（表行數(shù)），比較當(dāng)天采集的表行數(shù)，對比波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
表行數(shù)，7天波動率。 | 基準(zhǔn)值為7天前樣本（表行數(shù)），比較當(dāng)天采集的表行數(shù)，對比波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
表行數(shù)，30天波動率。 | 基準(zhǔn)值為30天前的樣本（表行數(shù)），比較當(dāng)天采集的表行數(shù)，對比波動率，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
表行數(shù)，1，7，30天，本月1號，波動率。 | 表行數(shù)，與1天前的樣本、7天前的樣本、30天前的樣本和本月1號采集樣本（表行數(shù)），進(jìn)行比較，對比波動率，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
表行數(shù)，上周期波動率。 | 基準(zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù)，比較當(dāng)天采集的表行數(shù)，對比波動率。 |
表行數(shù)，1天差值。 | 表的行數(shù)，相比1天前的差額。 說明 基準(zhǔn)值為昨天分區(qū)的表行數(shù)，比較當(dāng)天采集的表行數(shù)，對比差值。 |
表行數(shù)，上周期差值。 | 基準(zhǔn)值為上一周期產(chǎn)生的分區(qū)的表行數(shù)，比較當(dāng)天采集的表行數(shù)，對比差值。 |
表大小，固定值。 | 表的空間大小（字節(jié)）。 |
表大小，1天波動率。 | 該模板用于監(jiān)控表大小的波動情況，樣本對比值是與昨天的額度樣本進(jìn)行比較，計算波動率，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 例如，填寫橙色閾值為5%，紅色閾值為10%。當(dāng)波動率大于5%且小于等于10%時，會進(jìn)行橙色報警。當(dāng)波動率大于10%時，會進(jìn)行紅色報警。 |
表大小，7天波動率。 | 該模板用于監(jiān)控表大小的波動情況，樣本對比值是與7天前的額度樣本進(jìn)行比較，計算波動率，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 例如，填寫橙色閾值為5%，紅色閾值為10%。當(dāng)波動率大于5%且小于等于10%時，會進(jìn)行橙色報警。當(dāng)波動率大于10%時，會進(jìn)行紅色報警。 |
表大小，上周期差值。 | 相比上一周期表大小的差值（字節(jié)）。 |
表大小，相比1天前的差值（字節(jié)）。 | 表的空間大小，相比1天前的差值（字節(jié)）。 |
EMR表不支持配置表大小類校驗(yàn)規(guī)則。
表 2. 字段級規(guī)則
模板名稱 | 描述 |
平均值，1、7、30天波動率。 | 取該字段的平均值，與1天、7天和1個月前的樣本（字段平均值）進(jìn)行比較，計算波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 說明 該字段的平均值，分別與昨天該字段平均值，7天前該字段平均值，30天前該字段平均值進(jìn)行比較。 |
匯總值，1、7、30天波動率。 | 取該字段的sum值，同1天、7天和1個月前的樣本（字段平均值）進(jìn)行比較，計算波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
最小值，1、7、30天波動率。 | 取該字段的最小值，同1天、7天和1個月前的樣本（字段平均值）進(jìn)行比較，計算波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
最大值，1、7、30天波動率。 | 取該字段的最大值，同1天、7天和1個月前的樣本（字段平均值）進(jìn)行比較，計算波動率。再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
唯一值個數(shù)，固定值。 | 去重后的count數(shù)與一個期望數(shù)字進(jìn)行比較，即固定值校檢。 |
唯一值個數(shù)，1、7、30天波動率。 | 去重后的count數(shù)與1天、1周和1個月前的樣本（字段為一值個數(shù)）比較進(jìn)行比較，即固定值校檢。 |
空值個數(shù)，固定值。 | 取該字段的空值數(shù)與固定值進(jìn)行比較。 說明 是否為空值，是通過轉(zhuǎn)換為SQL的is null進(jìn)行判斷。 |
空值個數(shù)/總行數(shù)，固定值。 | 空值的個數(shù)與行總數(shù)的比率與一個固定值進(jìn)行比較。 說明 該固定值是一個小數(shù)。 |
重復(fù)值個數(shù)/總行數(shù)，固定值。 | 重復(fù)值個數(shù)與總行數(shù)的比率與一個固定值進(jìn)行比較。 |
重復(fù)值個數(shù)，固定值。 | 總行數(shù)減去重后的個數(shù)，即字段重復(fù)值的個數(shù)。重復(fù)值個數(shù)與固定值進(jìn)行比較。 |
唯一值個數(shù)/總行數(shù)。 | 唯一值個數(shù)與總行數(shù)的比率與一個固定值進(jìn)行比較。 |
離散值（狀態(tài)值），固定值。 | group by之后的分組，每組count數(shù)，與固定值進(jìn)行比較。 |
離散值（分組個數(shù)及狀態(tài)值），1、7、30天波動率。 | group by之后的分組數(shù)和分組后每組count數(shù)，與1天前的樣本、7天前的樣本、30天前的樣本（離散值）進(jìn)行比較，計算波動率。 |
離散值（分組個數(shù)），固定值 | group by之后的分組數(shù)，與固定值進(jìn)行比較。 |
離散值（分組個數(shù)），1天波動率 | group by之后的分組數(shù)，與1天前樣本進(jìn)行比較，計算波動率。 |
平均值，1天波動率 | 取該字段的平均值，與前1天進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較。 |
匯總值，1天波動率 | 取該字段的sum值，與前1天進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較。 |
最小值，1天波動率 | 取該字段的最小值，與前1天進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較。 |
最大值，1天波動率 | 取該字段的最大值，與前1天進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較。 |
匯總值，上周期的波動率。 | 取該字段的sum值，與上一周期進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
最小值，上周期的波動率。 | 取該字段的最小值，與上一周期進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |
最大值，上周期的波動率。 | 取該字段的最大值，與上一周期進(jìn)行比較，計算出波動率后，再與閾值進(jìn)行比較，只要有一個不符合規(guī)則即可觸發(fā)報警。 |