DataWorks數據質量支持通過統一管理自定義規則,形成自建的規則模板庫,幫助您提升規則配置的效率。本文將為您介紹如何通過規則模板庫頁面和監控規則頁面新建規則模板,以及如何操作規則模板。
前提條件
您需要購買DataWorks企業版及以上版本,才可以使用規則模板庫功能。
背景信息
您可以通過規則模板庫和監控規則兩個頁面新建規則模板。新建成功后,即可操作和應用規則模板。
注意事項
自定義規則的變更操作僅對變更后引用該規則的任務生效,不會修改存量(現有)任務的自定義規則設置。
通過規則模板庫頁面新建規則模板
進入數據質量頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據質量。
在左側導航欄,單擊
。單擊圖標,選擇新建文件夾。
在新建文件夾對話框中,輸入名稱并選擇目標文件夾,單擊確定。
在左側目錄右鍵單擊相應的文件夾名稱,選擇新建規則模板。
您也可以重命名和刪除相應的文件夾。
在新建規則模板對話框,配置各項參數。
參數
描述
模板名稱
請輸入自定義的模板名稱。
規則字段
目前僅支持自定義SQL。
采樣方式
目前僅支持自定義SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校驗類型
目前支持數值型和波動率型。
校驗方式
選擇不同的校驗類型,對應不同的校驗方式:
如果選擇的校驗類型為數值型,目前校驗方式僅支持與固定值比較。
僅可以返回經過count、sum等運算后的一個值,與固定值比較。
如果選擇的校驗類型為波動率型,則校驗方式包括7天平均值波動、30天平均值波動、1天周期比較、7天周期比較、30天周期比較、7天方差波動、30天方差波動、1,7,30天波動檢測和上一周期比較。
自定義SQL
請輸入自定義的SQL語句,您可以使用${tableName}表示表名。
說明自定義SQL的采集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標文件夾
選擇該自定義規則模板需要存放的文件夾名稱。
單擊確定。
通過監控規則頁面新建規則模板
進入數據質量頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據質量。
在左側導航欄,單擊
。在規則列表頁面,根據條件篩選所需引擎、數據源、數據庫實例,單擊相應規則ID,進入該規則的詳情頁。
說明本文以MaxCompute數據源為例。
選擇表的指定分區表達式,單擊自定義規則。在目標自定義規則后單擊生成模板。
在生成模板對話框,配置各項參數。
參數
描述
模板名稱
請輸入自定義的模板名稱。
規則字段
目前僅支持自定義SQL。
采樣方式
目前僅支持自定義SQL。
Set Flag
請輸入SQL的前置
set
語句。說明多條語句之間使用英文逗號(,)分隔,語句末尾無需添加分號(;)。
校驗類型
目前支持數值型和波動率型。
校驗方式
選擇不同的校驗類型,對應不同的校驗方式:
如果選擇的校驗類型為數值型,目前校驗方式僅支持與固定值比較。
僅可以返回經過count、sum等運算后的一個值,與固定值比較。
如果選擇的校驗類型為波動率型,則校驗方式包括7天平均值波動、30天平均值波動、1天周期比較、7天周期比較、30天周期比較、7天方差波動、30天方差波動、1,7,30天波動檢測和上一周期比較。
自定義SQL
請輸入自定義的SQL語句,您可以使用${tableName}表示表名。
說明自定義SQL的采集結果需要是一個值(一行一列的形式),這樣才能跟固定值做比較。
目標文件夾
選擇該自定義規則模板需要存放的文件夾名稱。
單擊確定。
在左側導航欄,單擊
,查看新建的規則模板。
操作規則模板
單擊相應規則模板的名稱,即可查看、編輯、刪除和復制該規則模板。
操作 | 描述 |
查看 | 您可以查看相應規則模板的參數配置、應用列表和日志:
|
編輯 | 單擊右上角的編輯,在編輯規則模板對話框中修改相應的參數,單擊確認。 |
刪除 | 單擊右上角的刪除,在刪除模板對話框中,單擊確認。 |
復制 | 單擊右上角的復制,在復制規則模板對話框中,輸入模板名稱并選擇目標文件夾,單擊確認。 |
應用規則模板
您可以在添加監控規則時,選擇和使用創建的自定義規則模板。
進入數據質量頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據質量。
在左側導航欄,單擊
。在規則列表頁面,根據條件篩選所需引擎、數據源、數據庫實例,單擊相應規則ID,進入該規則的詳情頁。
說明本文以MaxCompute數據源為例。
選擇表的指定分區表達式,單擊創建規則。
在創建規則對話框,單擊 。
配置創建規則的各項參數,其中規則來源選擇為規則模板庫,并選擇相應的規則模板,更多參數說明請參見創建模板規則。
單擊批量添加。