任務開發上線之后,數據正在穩定生產中,您需要對對應的業務表通過可視化查看、自動的數據質量監控、敏感數據管理等多種不同方式進行治理,而以下這些模塊就可以很好的幫助您對數據進行治理。
可視化元數據管理
數據地圖可以可視化的查看表Schema、產出信息、血緣信息等,不需要通過SQL命令,即可快速地了解業務表的概貌和更多高級的元數據信息。數據地圖的詳細操作請參見數據地圖概述。
數據質量監控
應用場景
從完整性、準確性、有效性、一致性、唯一性和及時性等多個維度對產出表數據進行校驗,自動攔截問題任務,有效阻斷臟數據向下游蔓延,避免非正常數據影響使用和業務決策。
監控邏輯
實例(ods_mbr_use_info)產出一張表(ods_mbr_use_info),寫入完成后觸發兩個數據質量強規則表行數大于0校驗,執行規則表行數采樣值為0,不符合表行數大于0,觸發強規則紅色報警且將實例(ods_mbr_use_info)置為失敗,下游實例(dim_ec_mbr_user_info)會被阻塞。廢棄數據不會往下流,等待責任人及時處理至成功,實例(dim_ec_mbr_user_info)繼續運行。
配置數據質量規則
對生產表(retail_e_commerce_2.ods_mbr_user_info)配置表行數大于0規則校驗。配置使用按表配置,詳細操作步驟請參見配置規則:按表(單表),以下為配置要點。
配置質量監控。
配置監控規則。
訂閱管理選擇釘釘機器人訂閱,并輸入WebHook地址。
說明釘釘群機器人需加上DataWorks關鍵字才可以接收到DataWorks發送的信息。具體操作,請參見規則管理。
敏感數據保護
對于業務中對數據保護的需求,您可以將數據進行動態或靜態脫敏,在當前實驗中,會將表(retail_e_commerce_2.dim_ec_mbr_user_info)中的手機號碼、IP地址等敏感字段進行動態脫敏處理。具體操作請參見下文指導,更多數據保護傘功能介紹請參見數據保護傘。
支持脫敏的類型
分類 | 概念 | 脫敏場景 |
動態脫敏 | 用戶在查詢敏感數據時在頁面展示脫敏后的數據。 | 當前DataWorks為您內置了全局配置、展示脫敏、數據分析脫敏、底層脫敏等脫敏場景,子場景為動態脫敏的典型應用場景。 |
靜態脫敏 | 將數據脫敏后存儲到指定的數據庫位置。 | 當前DataWorks為您內置了數據集成脫敏場景,子場景為靜態脫敏的典型應用場景。 |
實現動態脫敏步驟
本次實驗對生產表(retail_e_commerce_2.dim_ec_mbr_user_info)的reg_mobile_phone字段和user_regip字段動態脫敏展示。
首先需要配置數據識別規則,將表(dim_ec_mbr_user_info)中的reg_mobile_phone字段和user_regip字段識別為敏感數據,再配置數據脫敏規則,查詢時根據脫敏規則將返回結果脫敏展示。
預期脫敏效果。
脫敏前:
脫敏后:
工作空間啟動頁面查詢內容脫敏。
配置數據識別規則。
參數
reg_mobile_phone
user_regip
敏感字段類型
retail_e_commerce_2_手機
retail_e_commerce_2_ip
所屬分類
基礎數據
基礎數據
所屬分級
敏感
敏感
描述信息
-
-
識別規則命中條件
滿足以下任一條件即命中規則
滿足以下任一條件即命中規則
數據內容識別
內置識別規則-手機號-測試數據“1726342****”
內置識別規則-IP-測試數據“127.X.X.XX”
字段注釋識別
-
-
字段名稱識別
retail_e_commerce_2.dim_ec_mbr_user_info.reg_mobile_phone
retail_e_commerce_2_dev.dim_ec_mbr_user_info.reg_mobile_phone
retail_e_commerce_2.dim_ec_mbr_user_info.user_regip
retail_e_commerce_2_dev.dim_ec_mbr_user_info.user_regip
字段排除
-
-
命中率配置
50%
50%
配置數據脫敏規則。
參數
reg_mobile_phone
user_regip
敏感字段類型
retail_e_commerce_2_手機
retail_e_commerce_2_ip
脫敏規則名稱
retail_e_commerce_2_手機
retail_e_commerce_2_ip
脫敏方式
掩蓋,使用推薦方式“只展示前三后四”
掩蓋,使用推薦方式“默認”
樣本數據
172XXXX9107
127.X.X.X
脫敏效果
172****9107
127.*.*.*