日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據治理

任務開發上線之后,數據正在穩定生產中,您需要對對應的業務表通過可視化查看、自動的數據質量監控、敏感數據管理等多種不同方式進行治理,而以下這些模塊就可以很好的幫助您對數據進行治理。

可視化元數據管理

數據地圖可以可視化的查看表Schema、產出信息、血緣信息等,不需要通過SQL命令,即可快速地了解業務表的概貌和更多高級的元數據信息。數據地圖的詳細操作請參見數據地圖概述8

數據質量監控

應用場景

從完整性、準確性、有效性、一致性、唯一性和及時性等多個維度對產出表數據進行校驗,自動攔截問題任務,有效阻斷臟數據向下游蔓延,避免非正常數據影響使用和業務決策。

監控邏輯

實例(ods_mbr_use_info)產出一張表(ods_mbr_use_info),寫入完成后觸發兩個數據質量強規則表行數大于0校驗,執行規則表行數采樣值為0,不符合表行數大于0,觸發強規則紅色報警且將實例(ods_mbr_use_info)置為失敗,下游實例(dim_ec_mbr_user_info)會被阻塞。廢棄數據不會往下流,等待責任人及時處理至成功,實例(dim_ec_mbr_user_info)繼續運行。數據治理

配置數據質量規則

對生產表(retail_e_commerce_2.ods_mbr_user_info)配置表行數大于0規則校驗。配置使用按表配置,詳細操作步驟請參見配置規則:按表(單表),以下為配置要點。

  1. 配置質量監控。

    image

    image

    image

  2. 配置監控規則。

    image

    image

  3. 訂閱管理選擇釘釘機器人訂閱,并輸入WebHook地址。

    image

    說明

    釘釘群機器人需加上DataWorks關鍵字才可以接收到DataWorks發送的信息。具體操作,請參見規則管理

敏感數據保護

對于業務中對數據保護的需求,您可以將數據進行動態或靜態脫敏,在當前實驗中,會將表(retail_e_commerce_2.dim_ec_mbr_user_info)中的手機號碼、IP地址等敏感字段進行動態脫敏處理。具體操作請參見下文指導,更多數據保護傘功能介紹請參見數據保護傘。

支持脫敏的類型

分類

概念

脫敏場景

動態脫敏

用戶在查詢敏感數據時在頁面展示脫敏后的數據。

當前DataWorks為您內置了全局配置、展示脫敏、數據分析脫敏、底層脫敏等脫敏場景,子場景為動態脫敏的典型應用場景。

靜態脫敏

將數據脫敏后存儲到指定的數據庫位置。

當前DataWorks為您內置了數據集成脫敏場景,子場景為靜態脫敏的典型應用場景。

實現動態脫敏步驟

本次實驗對生產表(retail_e_commerce_2.dim_ec_mbr_user_info)的reg_mobile_phone字段和user_regip字段動態脫敏展示。

首先需要配置數據識別規則,將表(dim_ec_mbr_user_info)中的reg_mobile_phone字段和user_regip字段識別為敏感數據,再配置數據脫敏規則,查詢時根據脫敏規則將返回結果脫敏展示。

  1. 預期脫敏效果。

    脫敏前:15

    脫敏后:16

  2. 工作空間啟動頁面查詢內容脫敏。

    17

  3. 配置數據識別規則。

    參數

    reg_mobile_phone

    user_regip

    敏感字段類型

    retail_e_commerce_2_手機

    retail_e_commerce_2_ip

    所屬分類

    基礎數據

    基礎數據

    所屬分級

    敏感

    敏感

    描述信息

    -

    -

    識別規則命中條件

    滿足以下任一條件即命中規則

    滿足以下任一條件即命中規則

    數據內容識別

    內置識別規則-手機號-測試數據“1726342****”

    內置識別規則-IP-測試數據“127.X.X.XX”

    字段注釋識別

    -

    -

    字段名稱識別

    • retail_e_commerce_2.dim_ec_mbr_user_info.reg_mobile_phone

    • retail_e_commerce_2_dev.dim_ec_mbr_user_info.reg_mobile_phone

    • retail_e_commerce_2.dim_ec_mbr_user_info.user_regip

    • retail_e_commerce_2_dev.dim_ec_mbr_user_info.user_regip

    字段排除

    -

    -

    命中率配置

    50%

    50%

    18

  4. 配置數據脫敏規則。

    19

    參數

    reg_mobile_phone

    user_regip

    敏感字段類型

    retail_e_commerce_2_手機

    retail_e_commerce_2_ip

    脫敏規則名稱

    retail_e_commerce_2_手機

    retail_e_commerce_2_ip

    脫敏方式

    掩蓋,使用推薦方式“只展示前三后四”

    掩蓋,使用推薦方式“默認”

    樣本數據

    172XXXX9107

    127.X.X.X

    脫敏效果

    172****9107

    127.*.*.*