模型發布生產環境成功后,DataWorks智能數據建模支持自動生成數據質量監控規則,便于后續在生產環境中通過生成的數據質量規則來約束對應表的數據質量。本文為您介紹如何在表發布成功后自動生成數據質量規則。
前提條件
已將表發布至生產環境。表發布操作請參見發布模型至引擎。
注意事項
表成功發布至生產環境后,表的字段管理設置中,以下字段支持自動生成數據質量規則:
主鍵和非空字段。
配置了關聯標準代碼的字段。
操作步驟
發布維度表
進入智能數據建模頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據建模。
單擊上方導航欄內的維度建模進入維度建模頁面,選擇需要配置數據落標的表,雙擊表名稱進入表詳情頁面。
在字段管理模塊下對該維度的表字段勾選配置主鍵、非空以及字段關聯。
單擊保存該表,再單擊按鈕,將該表提交為新的模型版本。
單擊發布該表,在發布彈窗內進行配置:
生效環境:勾選生產與開發。
自動落標:勾選是。
其余配置項保持默認即可,在配置完成后,單擊發布,對表建模進行發布。
查看質量規則
自動落標生成規則
單擊頂部的質量規則,進入數據落標頁面,即可查看到自動落標生成的質量規則,在數據落標頁面單擊生成質量規則,即可一鍵自動生成對應的質量規則。
手動配置生成規則
單擊配置監控按鈕,進入配置規則:按表(單表)。
中,單擊新建規則按鈕,進行新建規則,詳情可參見生成質量監控
配置完質量規則后,在規則列表頁面,單擊規則列表的ID/規則名稱列內的規則名稱,進入
頁簽后,單擊進入質量監控頁簽,進行新建質量監控配置操作,詳情配置如下:模塊 | 配置項 | 配置內容 | 圖示 |
基本配置 | 質量監控名稱 | 自定義質量監控名稱。 | |
數據范圍 | 按監控對象默認的表類型生成數據范圍,當監控對象為分區表時,數據范圍默認為按分區設置范圍,可按照分區圈選范圍,例如: | ||
運行設置 | 觸發方式 | 可選擇:
| |
關聯調度節點(生產調度觸發) | 單擊添加節點后,選擇需要創建質量監控的空間與節點。 說明 通過DataWork運維中心中,關聯指定的周期調度任務,節點運行完成后,自動觸發該質量監控下的質量規則 | ||
運行資源選擇 | 執行質量規則檢測所需的運行資源,默認選擇該工作空間下監控表所屬數據源。如選取其他數據源,需確認對應資源可對該表進行訪問。 | ||
質量問題處理策略 | 問題策略 | 保持默認即可 | |
選擇質量規則 | 單擊批量選擇后,在面板內可根據ID/規則名稱、規則模板、關聯范圍來圈選需要配置質量監控的質量規則。 |
配置完成的質量監控可在
中查看配置的質量監控最近一次的運行記錄和修改告警訂閱的訂閱方式與接收對象。若生成質量規則后,啟用執行規則,則需注意數據質量規則的運行費用,計費詳情請參見:數據質量計費說明。
修改/刪除落標規則
數據建模側修改/刪除落標規則。
通過建模側字段屬性的修改,如修改字段名稱,或從非空更改為不要求非空,或更改關聯的標準代碼規則的方式修改落標規則。
對字段進行刪除或新增來進行修改或刪除落標規則。
刪除表建模來進行修改或刪除落標規則。
對表建模字段進行的修改或刪除,需要進行相應的變動與修改,需單擊重新發布該表。