DataWorks數據質量支持通過統一管理自定義規則,形成自建的規則模板庫,幫助您提升規則配置的效率。本文將為您介紹如何新建自定義規則模板,以及如何操作自定義規則模板。
前提條件
您需要購買DataWorks企業版及以上版本,才可以使用規則模板庫功能。
背景信息
您可以通過規則模板庫新建規則模板。新建成功后,即可操作和應用規則模板。
注意事項
自定義規則的變更操作僅對變更后引用該規則的任務生效,不會修改存量(現有)任務的自定義規則設置。
新建自定義規則模板
進入數據質量頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據質量。
在左側導航欄,單擊
。單擊圖標,選擇新建文件夾。
在新建文件夾對話框中,輸入名稱并選擇目標文件夾,然后單擊確定。
在左側目錄右鍵單擊相應的文件夾名稱,選擇新建規則模板。
您也可以重命名和刪除相應的文件夾。
在新建規則模板對話框,配置各項參數。
參數
描述
模板名稱
請輸入自定義的模板名稱。
規則字段
目前僅支持自定義SQL。
采樣方式
目前僅支持自定義SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校驗類型
目前支持數值型和波動率型。
校驗方式
選擇不同的校驗類型,對應不同的校驗方式:
如果選擇的校驗類型為數值型,目前校驗方式僅支持與固定值比較。
僅可以返回經過count、sum等運算后的一個值,與固定值比較。
如果選擇的校驗類型為波動率型,則校驗方式包括:
7天平均值波動
30天平均值波動
1天周期比較
7天周期比較
30天周期比較
7天方差波動
30天方差波動
1,7,30天波動檢測
上一周期比較。
自定義SQL
請輸入自定義的SQL語句,您可以使用${tableName}表示表名。
說明自定義SQL的采集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標文件夾
選擇該自定義規則模板需要存放的文件夾名稱。
單擊確定。
操作規則模板
單擊相應規則模板的名稱,即可查看、編輯、刪除和復制該規則模板。
操作 | 描述 |
查看 | 您可以查看相應規則模板的參數配置、應用列表和日志:
|
編輯 | 單擊右上角的編輯,在編輯規則模板對話框中修改相應的參數,單擊確認。 |
刪除 | 單擊右上角的刪除,在刪除模板對話框中,單擊確認。 |
復制 | 單擊右上角的復制,在復制規則模板對話框中,輸入模板名稱并選擇目標文件夾,單擊確認。 |
應用自定義規則模板
您可以在添加監控規則時,選擇和使用創建的自定義規則模板。
進入數據質量頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據質量。
進入按表配置監控規則。
在左側導航欄,單擊
,進入按表配置規則頁面。左側數據源列表按需選擇待配置規則的表所在的數據庫。
根據數據庫類型、數據庫、表名等條件篩選,單擊目標表名或操作列的監控配置,進入該表的表質量詳情頁。
該頁面展示了當前表所有已配置的質量規則,您可通過規則是否已關聯質量監控來快速過濾目標規則,并對未關聯質量監控的規則定義規則運行方式。
在表質量詳情頁的規則管理頁簽,單擊新建規則,進入規則配置頁面。
通過自定義規則模板創建數據質量規則。
引用自定義模板時,將自動顯示該模板的基本配置(例如Flag參數,校驗SQL)等,您可以自定義規則名稱,并按照規則類型,配置監控閾值(例如數值型規則需要定義正常閾值、紅色閾值,此外,波動型規則還需要定義橙色閾值。)
各參數解釋,詳見新建自定義規則模板。
單擊確定。
相關文檔
您可以在按表配置規則時,應用自定義規則模板。更多信息,請參見配置規則:按表(單表)。