日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

創建Dataphin表質量規則

Dataphin支持創建校驗數據表的質量規則,提升數據表質量監控的便捷性。本文為您介紹如何配置Dataphin表的質量規則。

前提條件

已經添加監控對象才可配置質量規則,如何添加監控對象,請參見添加監控對象添加及管理監控對象

權限說明

  • 超級管理員、質量管理員支持為質量規則配置調度、告警、異常歸檔表、打分權重等。

  • 質量負責人支持在自己所負責的監控對象下為質量規則配置調度、告警、異常歸檔表、打分權重等。

  • 質量負責人、普通用戶需要額外具備Dataphin表的讀取權限,如需申請,請參見申請、續期和交還表權限

質量規則配置說明

質量規則支持自定義配置引用數據標準監控(引用數據標準監控需開通數據標準模塊)兩種方式。

  • 自定義配置是基于系統內置/自定義質量規則模板快速創建,也支持自定義SQL,滿足靈活的監控訴求。

  • 引用數據標準監控是引用當前資產對象映射到的數據標準已配置的質量規則,更好地滿足標準約束。

校驗規則說明

數據表參與質量規則校驗時,如果觸發了質量弱監控規則,系統會給您發送告警消息,便于您及時發現并處理異常;如果觸發了質量強監控規則,系統會自動中斷該表所在的任務,避免臟數據流入下游,同時系統會給您發送告警消息,便于您及時發現并處理異常。

質量規則試跑和運行區別

試跑和運行的區別在于執行的方式和顯示的結果,試跑指對某個質量規則進行一次模擬執行,以檢測規則的正確性和運行情況,試跑的結果不會在質量報告中顯示;運行指在特定時間內對質量規則進行檢查,運行的結果會輸出到質量報告中,便于用戶查看和分析。

質量規則配置

  1. 在Dataphin首頁,單擊頂部菜單欄的治理 > 數據質量

  2. 單擊左側導航欄的質量規則,在Dataphin表頁面,單擊目標對象的名稱,進入質量規則詳情頁面,配置質量規則。

    • 自定義配置

      1. 數據表懸停新建質量規則選擇自定義配置或單擊新建質量規則,進入新建質量規則對話框。

        image

      2. 新建質量規則對話框中,配置參數。

        參數

        描述

        基本信息

        規則名稱

        自定義質量規則的名稱,不超過256個字符。

        規則強度

        支持弱規則強規則

        • 弱規則:如果您選擇了弱規則,則質量規則校驗的結果為異常時報警但不阻塞下游任務節點。

        • 強規則:如果您選擇了強規則,則質量規則校驗的結果為異常時報警,同時在有下游任務的情況下(代碼檢查調度、任務觸發調度)會阻塞下游任務,防止污染數據擴散;如果沒有下游任務(如周期質量調度),則僅告警。

        描述

        自定義質量規則描述。不超過128個字符。

        配置方式

        • 模板創建:使用通用的系統模板和自定義的業務模板,快速創建質量規則。

          • 系統模板:模板內置參數可配置,適合通用的規則創建。

          • 自定義模板:模板預置參數,無需配置,一般用于含有業務邏輯的規則創建。

        • 自定義SQL:可通過SQL靈活自定義質量監控規則,適用于靈活復雜場景。

        規則模板

        下拉可選擇規則模板,完整性唯一性及時性有效性一致性穩定性自定義SQL

        • 完整性:包括字段空值校驗字段空字符串校驗

        • 唯一性:包含字段唯一性校驗字段分組個數校驗字段重復值個數校驗

        • 及時性:包含時間函數比較單表時間字段比較兩表時間字段比較

        • 有效性:包含字段格式校驗字段長度校驗字段值域校驗碼表參照對比數據標準碼表參照對比(需開通數據標準模塊)。

        • 一致性:包含單表字段值一致性比較單表字段統計值一致性比較單字段業務邏輯一致性比較兩表字段值一致性比較兩表字段統計值一致性比較兩表字段業務邏輯一致性比較跨源兩表字段統計值一致性比較

        • 穩定性:包含表穩定性校驗表波動性校驗字段穩定性校驗字段波動性校驗

        • 自定義SQL:包含自定義統計指標校驗自定義數據詳情校驗

        詳情請參見模板類型說明

        規則類型

        規則類型和模板有關,是模板最基礎的屬性,可用作說明和篩選功能。

        監控粒度

        當配置類型為自定義SQL時支持配置監控粒度,可以選擇全表或指定具體監控字段

        模板配置

        模板信息

        當選擇質量規則模板時,為您展示模板的配置信息。如需修改配置信息,可以在質量規則模板中進行修改。

        規則配置

        規則配置

        規則配置因選擇不同的規則模板而變化。詳情請參見數據表參數配置

        特殊配置如下:

        • 校驗表數據過濾:默認關閉,開啟后可配置校驗表的過濾條件或分區過濾或普通數據過濾,過濾條件將會直接追加至校驗SQL中;如校驗表有分區過濾需求,建議在調度配置中配置分區表達式,配置后會以校驗分區為最小查看粒度查看質量報告。

        • 當規則模板選擇一致性/兩表字段統計值一致性比較一致性/跨源兩表字段統計值一致性比較時,可以選擇是否開啟對比表數據過濾,開啟后可以配置對比表的過濾條件或分區過濾或普通數據過濾,過濾條件將會直接追加至校驗SQL中。

        校驗配置

        規則校驗

        • 數據質量規則校驗后,結果會和異常校驗的配置進行對比,符合條件則校驗結果為不通過;同時觸發告警等后續流程。

        • 異常校驗可用指標由模板和配置內容決定,支持多種條件的and/or條件,實際配置中建議小于3條。

        詳情請參見校驗配置說明

        歸檔配置

        異常歸檔

        默認開啟后可以將異常數據歸檔到文件或表中,質量校驗后可以下載、分析歸檔的異常數據。

        • 歸檔模式支持僅歸檔異常字段歸檔完整記錄

          • 僅歸檔異常字段:只去重歸檔當前監控字段,適用于通過單個字段就可以完整確定異常數據的情況。

          • 歸檔完整記錄:歸檔異常數據所在的整條記錄,適用于必須通過完整記錄才能定位異常數據的情況。

            說明

            因為歸檔完整記錄會極大增加歸檔數據量,建議在正常情況下都使用僅歸檔異常字段。

        • 歸檔位置支持默認文件服務器異常數據歸檔表。若未創建異常歸檔表,可點擊管理異常歸檔表創建,詳情請參見添加異常歸檔表

          • 默認文件服務器:指Dataphin部署時配置的系統文件服務器,后續您可以在校驗記錄頁面下載每次校驗識別到的異常數據。使用默認文件服務器時,每次校驗執行最多歸檔100條異常數據,適用于小數據量校驗的場景。

          • 異常數據歸檔表:如果您希望存儲更多異常數據或將不同校驗記錄的異常數據放在一起,以便后續的對比分析,建議自行指定歸檔表。每條質量規則每次運行最多記錄10000條校驗異常的數據,除了可以直接在校驗記錄頁面快捷下載單次校驗的異常數據,您也可以直接訪問歸檔表、自定義表生命周期,有更高的靈活性。

            說明
            • 針對本次運行涉及到的所有規則產生的異常數據進行匯總下載,并且下載數量不超過1000條,如果您希望查看更多的數據,建議歸檔到指定的異常歸檔表后直接訪問歸檔表獲取。

            • 異常歸檔表需要滿足特定的格式要求,否則可能在寫入數據時報錯,影響使用,詳情請參見添加異常歸檔表

        業務屬性配置

        屬性信息

        業務屬性填寫規范取決于質量規則屬性的配置。例如:歸口管理部門所對應的字段取值類型為枚舉值(多選),可選枚舉值范圍為大數據部、業務部、技術部。因此,創建質量規則時,該屬性值為下拉多選框,可選項為枚舉值(多選),可選枚舉值范圍為大數據部、業務部、技術部。

        規則負責人所對應的字段取值類型為自定義輸入,屬性字段長度為256。因此,在創建質量規則時,該屬性值最多可以輸入256個字符。

        image

        若屬性字段的填寫方式為范圍區間,則配置方式如下:

        范圍區間:常用于取值范圍是連續數值或日期的情況。可選擇>>=<<=四種符號。更多屬性配置,請參見新建及管理質量規則屬性

        調度屬性配置

        調度方式

        支持選擇已配置的調度;若暫未決定調度方式,您可創建質量規則后再配置。如需新建,請參見新建調度

        質量分配置

        計分方式

        支持質量校驗狀態和數據合格比例兩種計分方式。

        • 質量校驗狀態:按照當前規則最近一次執行成功的校驗記錄的校驗狀態進行打分,校驗通過得100分,校驗不通過得0分。

        • 數據合格比例:將當前規則最近一次執行成功的校驗記錄中的正常數據的比例(即正常率)作為分數,如數據格式有效性是80%,那么質量分就是80分。

        不同的規則模板支持的計分方式不同,僅支持質量校驗狀態計分方式說明如下:

        • 唯一性規則大類的字段分組個數校驗、字段重復值個數校驗。

        • 一致性規則大類的單表字段統計值一致性比較、跨源兩表字段統計值一致性比較。

        • 穩定性規則大類。

        • 自定義SQL規則大類的自定義統計指標校驗。

        質量分權重

        質量規則的質量分權重,用于統計監控對象的質量分。支持選擇1-10之間的整數。

      3. 單擊確定,完成自定義規則配置。

        您可以單擊預覽SQL,查看本次配置與上次保存的配置進行對比,便于查看SQL變更。

        說明
        • 關鍵信息沒有填寫完整,預覽SQL不可用。

        • 左邊為上次保存配置的SQL預覽,若未配置,則為空;右邊為當前配置的SQL預覽。

  • 引用數據標準監控

    1. 數據表懸停新建質量規則,選擇引用數據標準監控

      image

    2. 引用數據標準監控對話框中選擇需要引用的數據標準規則。您可以根據有效性唯一性完整性穩定性四種規則模板篩選標準規則,也可以輸入對象名稱進行搜索。

      在引用數據標準規則對話框中,支持修改規則名稱、開啟或關閉生效狀態,您也可以單擊關聯標準下的標準編碼查看標準詳情,或單擊操作列下的image圖標查看質量規則。

      說明

      引用后不支持修改規則詳情配置,可自行配置調度、修改規則的強弱等信息。

    3. 單擊添加選擇規則,完成引用數據標準規則。

規則配置列表

質量規則創建完成后,您可以在規則配置列表進行查看、編輯、試跑、運行、刪除等操作。

image

區域

描述

篩選及搜索區

支持按照對象或規則名稱進行快捷搜索。

支持按照規則類型、規則模板、規則強度、試跑狀態、生效狀態、規則來源進行篩選。

說明

若質量規則屬性配置了可搜索、可篩選的業務屬性且為啟用狀態,則可以根據該屬性進行搜索或篩選。

列表區

為您展示規則配置列表的對象類型/名稱、規則名稱/ID、試跑狀態、生效狀態規則類型規則模板規則強度調度類型、相關知識庫文檔信息,單擊刷新前的image圖標,可選擇您需要展示的規則列表字段。

  • 若引用的是數據標準規則,可單擊規則名稱的image圖標查看標準詳情。

  • 若為研發字段的標準約束,則在規則名稱后以image圖標進行標識。

  • 生效狀態:建議在生效規則前先進行試跑,針對試跑成功的規則開啟生效狀態,以避免錯誤的規則阻塞線上任務。

    • 開啟生效狀態后,所選規則會按照配置的調度自動執行。

    • 停用生效狀態后,所選規則不會自動執行,但可以手動執行。

  • 相關知識庫文檔:單擊查看詳情,查看規則關聯的知識庫信息。包括表名稱、校驗對象、規則、相關知識庫文檔信息,同時,您可以對知識庫執行搜索、查看、編輯、刪除操作。操作詳情請參見查看知識庫

操作區

您可以進行查看、克隆、編輯、試跑、運行、調度配置、關聯知識庫文檔、質量分配置、刪除操作。

  • 查看:可查看規則配置詳情。

  • 克隆:可快速復制規則。

  • 編輯:編輯規則后,需要重新試跑。

    說明
    • 開發流程通過配置字段約束自動生成的規則以及落標映射關系頁面添加的質量規則,支持修改歸檔配置、業務屬性配置、質量分配置。

    • 引用數據標準的質量規則支持修改規則名稱、規則強弱、描述、規則類型、歸檔配置、業務屬性配置、調度配置、質量分配置。

  • 試跑:支持選擇已有調度自定義校驗范圍試跑規則,試跑后,可單擊image圖標查看試跑日志

  • 運行:支持選擇已有調度自定義校驗范圍運行規則,運行后,可在校驗記錄中查看校驗結果。

  • 調度配置:支持在對話框中篩選調度類型或使用調度名稱快捷搜索調度。同時也支持編輯調度。

  • 關聯知識庫文檔:規則關聯知識后,可在質量規則和治理工作臺中查看關聯知識。支持選擇未被關聯的知識庫。如需創建,請參見創建及管理知識庫

  • 質量分配置:支持修改質量規格的計分方式和質量分權重。

    重要

    質量規則的質量分權重,用于統計監控對象的質量分,修改后會影響質量評分結果,請謹慎操作。

  • 刪除:刪除此質量規則對象將刪除對象下的所有質量規則,刪除后不可撤銷,請謹慎操作。

批量操作區

您可批量進行試跑、運行、配置調度、開啟、關閉、修改業務屬性、關聯知識庫文檔、質量分配置、導出規則、刪除操作。

  • 試跑:支持選擇已有調度自定義校驗范圍批量試跑規則,試跑后,可單擊image圖標查看試跑日志

  • 運行:支持選擇已有調度自定義校驗范圍批量運行規則,運行后,可在校驗記錄中查看校驗結果。

    說明

    批量運行時,建議選擇相同分區的表。分區信息會直接下放執行,如果分區不一致,可能會報錯。

  • 配置調度:支持在對話框中篩選調度類型或用調度名稱快捷搜索調度。同時支持編輯調度,為質量規則批量配置調度。僅支持修改選中規則中在質量規則列表頁面可編輯的規則。

  • 開啟:批量開啟生效狀態后,所選規則會按照配置的調度自動執行。僅支持開啟選中規則中在質量規則列表頁面可編輯的規則。

  • 關閉:批量停用生效狀態后,所選規則不會自動執行,但可以手動執行。僅支持關閉選中規則中在質量規則列表頁面可編輯的規則。

  • 修改業務屬性:當業務屬性對應的字段取值類型為單選或多選時,支持批量修改業務屬性。

    • 當業務屬性對應的字段取值類型為多選時,支持追加或修改屬性值。

      image

    • 當業務屬性對應的字段取值類型為單選時,支持直接修改屬性值。

      image

  • 關聯知識庫文檔:規則關聯知識后,可在質量規則和治理工作臺中查看關聯知識。支持為監控對象批量配置知識庫。如需創建,請參見創建及管理知識庫

  • 質量分配置:支持批量修改質量規格的計分方式和質量分權重。

    重要

    質量規則的質量分權重,用于統計監控對象的質量分,修改后會影響質量評分結果,請謹慎操作。

  • 導出規則:導出當前監控對象下選中的有查看權限的自定義SQL質量規則。

  • 刪除:支持批量刪除質量規則的對象,刪除后不可撤銷,請謹慎操作。僅支持刪除有編輯權限的規則。

新建調度

說明
  • 規則配置調度時,可以基于當前已有的調度快速進行配置(每個表上限20個調度規則)。

  • 同一個規則最多能配置10個調度。

  • 調度配置完全一致時,支持自動去重。

  • 若當前表為Hologres分區表,建議使用固定任務觸發調度。

  • 校驗范圍會作為質量校驗時的過濾條件下發到質量校驗的語句中,控制每次質量校驗的范圍。校驗范圍也會作為后續質量報告等下游的基本單元,質量報告的查看會以校驗范圍為最小查看粒度。

  1. 質量規則詳情頁面,單擊調度配置頁簽,再單擊新建調度按鈕,進入新建調度對話框。

  2. 新建調度對話框,配置參數。

    參數

    描述

    調度名稱

    自定義調度名稱,不超過64個字符。

    調度類型

    支持定時調度數據更新觸發調度固定任務觸發調度

    • 定時調度:根據設置的調度時間,支持定時、周期性地對數據進行質量檢測,適合數據產出時間相對固定的場景。

      • 調度周期:質量規則運行會占用一定的計算資源,建議避免同一時間并發執行多條質量規則,以免影響生產任務的正常運行。調度周期包含小時分鐘五種周期類型。

      • 填入推薦時間:您可單擊填入推薦時間,系統將根據當前表產出任務的平均運行結束時間進行推薦。

    • 數據更新觸發調度:所有代碼任務執行時,均會解析本次任務運行是否更新當前表指定的校驗范圍。適用于表的修改任務不固定或需重點監控的表,即每次變更都需監控的情況。

      說明

      建議檢驗范圍選擇任務更新的分區(非分區表將校驗全表),系統會自動識別所有數據變更并進行校驗,避免遺漏。

    • 固定任務觸發調度:在指定的任務運行成功后或運行前,執行配置的質量規則。支持選擇引擎SQL、離線管道、Python、Shell、Virtual、Datax、Spark_jar、Hive_MR、數據庫SQL節點的任務類型觸發任務。適用于表修改任務固定的情況。

      說明

      固定任務觸發只能選擇生產環境任務,若規則強度配置了強規則,調度任務校驗失敗,可能會影響線上任務,請根據業務需求謹慎操作。

      • 觸發時機:選擇進行質量檢測的觸發時機。支持選擇所有任務都運行成功后觸發每個任務每次運行成功后均觸發每個任務每次運行前觸發

      • 觸發任務:支持選擇當前用戶有運維權限的生產任務節點,可以根據節點輸出名稱搜索,也可以在推薦任務或全部任務中選擇。

        • 推薦任務:為您展示當前表作為輸出表的血緣任務、節點輸出名稱=板塊名稱/項目名.表名的任務,即資產目錄-資產詳情-產出信息的任務范圍。

        • 全部任務:為您展示當前用戶有運維權限的全量生產任務。

          說明
          • 當觸發時機選擇所有任務都運行成功后觸發時,觸發任務建議選擇同調度周期的任務,避免因調度周期不同而導致規則延遲運行,質量檢測結果延遲產出。

          • 當觸發時機選擇每個任務每次運行前觸發時,推薦任務為您展示當前表作為輸入的血緣任務。

    調度條件

    默認關閉,開啟后,在質量規則正式調度前,會先判斷是否滿足調度條件。滿足條件才會正式調度,不滿足條件則忽略本次調度。

    • 業務日期/執行日期:若調度類型選擇定時調度(定時調度不支持執行日期)、數據更新觸發調度固定任務觸發調度,支持配置日期,可選擇普通日歷自定義日歷,如何自定義日歷,請參見創建及管理公共日歷

      • 若選擇普通日歷,則條件可選月份星期日期。例如下圖:

        image

      • 若選擇自定義日歷,則條件可選日期類型標簽。例如下圖:

        image

    • 實例類型:若調度類型選擇數據更新觸發調度固定任務觸發調度,支持配置實例類型,可選擇周期實例補數據實例手動實例。例如下圖:

      image

    說明
    • 至少配置一條規則。如需添加規則,請單擊+添加規則按鈕。

    • 最多配置10個調度條件。

    • 調度條件之間的關系可配置為且、或。

    校驗范圍

    當調度類型選擇定時調度、固定任務觸發調度時,校驗范圍支持自定義校驗范圍;當調度類型選擇數據更新觸發調度時,校驗范圍支持任務更新的分區

    、自定義校驗范圍。

    • 任務更新的分區:若檢查任務中更新了分區,則直接按照任務更新的分區下發任務。

      說明
      • 動態分區場景可能解析不到分區,將不會進行質量校驗。

      • 波動性校驗規則(如校驗分區大小、分區行數、字段統計值)需指定分區,不支持任務更新分區校驗范圍。

      • 非分區表如有數據更新時將校驗全表。

    • 自定義校驗范圍:對于無法解析的場景,可以使用自定義校驗范圍,按照業務日期或者執行日期來指定校驗范圍表達式。

      • 校驗范圍表達式:為可輸入的下拉選擇框,支持直接輸入需要校驗的范圍,如ds='${yyyyMMdd}';也可以選擇內置的校驗范圍表達式然后進行修改,以幫助您快速配置,分區表達式詳情請參見內置分區表達式類型

        說明
        • 若有多個條件進行校驗,可用andor進行連接,如province="浙江" and ds<=${yyyyMMdd}。

        • 若質量規則中配置了過濾條件,則校驗范圍表達式和過濾條件之間為and關系,校驗數據時,兩個條件會一起進行過濾。

        • 校驗范圍表達式支持對全表進行掃描。

          注意:全表掃描將會消耗較大的資源,并且部分不支持全表掃描,建議配置分區表達式以避免全表掃描。

      • 校驗范圍預算:默認業務日期當天。

  3. 單擊確定,完成調度配置。

調度配置列表

調度創建完成后,您可在調度配置列表進行查看、編輯、克隆、刪除等操作。

image

區域

描述

篩選及搜索區

支持按照調度名稱進行快捷搜索。

支持按照定時調度數據更新觸發調度固定任務觸發調度進行篩選。

列表區

為您展示規則配置列表的調度名稱調度類型最后更新人最后更新時間信息。

操作區

您可以對調度執行編輯、克隆、刪除操作。

  • 編輯:可以修改已配置的調度信息。

    重要

    所有引用此調度的規則配置都將同步改變,請謹慎操作。

  • 克隆:可快速復制調度配置。

  • 刪除:被規則配置引用的調度不支持刪除。

告警配置

您可以給不同的規則配置不同的告警方式以實現區分告警,如:為強規則異常配置電話告警,弱規則異常配置短信告警;如果一條規則同時命中了多條告警配置,支持設置告警的生效策略。

說明

單個監控對象下支持創建不超過20個告警配置。

  1. 質量規則詳情頁面,單擊告警配置頁簽,再單擊新建告警配置按鈕,進入新建告警配置對話框。

  2. 新建告警配置對話框,配置參數。

    參數

    描述

    覆蓋范圍

    支持選擇所有規則所有強規則所有弱規則自定義

    說明
    • 單個監控對象下,所有規則、所有強規則和所有弱規則3種范圍支持各配置一條告警,后續新增的規則根據規則強度自動匹配對應的告警;如需變更其中的某一條告警配置,可修改已有配置。

    • 自定義范圍可選擇當前監控對象下已配置的所有規則,不超過200條。

    告警配置名稱

    單個監控對象下,告警配置名稱唯一,且不超過256個字符。

    告警接收人

    配置告警接收人及告警方式。需要選擇至少一種告警接收人及告警方式。

    • 告警接收人:支持選擇自定義、值班表和質量負責人三種告警接收人。

      支持配置不超過5個自定義告警接收人;支持配置不超過3個值班表。

    • 告警方式:支持選擇電話、郵件、短信、釘釘不同的接收方式。

  3. 單擊確定,完成告警配置。

告警配置列表

告警配置完成后,您可以在告警配置列表中進行排序、編輯、刪除操作。

image

序號

描述

①排序區

支持配置一條質量規則符合多條告警配置時的告警生效策略:

  • 命中的第一條告警配置生效:選擇該告警策略時,只有規則命中的第一條告警配置生效,其他配置均不生效,此時支持對已配置的告警進行排序。單擊規則排序,您可選中告警配置名稱前的image.png圖標進行拖拽排序或選擇操作列下的圖標進行移動,圖標從左到右依次為:置頂、置底。調整完告警順序后,單擊排序完成按鈕,完成排序。

    image

  • 所有告警配置均生效:當前告警配置列表中的告警對當前監控對象下的質量規則均生效。

    例如:當您配置了多條告警配置且選擇所有告警配置均生效,系統會按照告警接收方式+告警接收人+告警規則合并告警;特殊的,如果告警接收人為同一個接收人且告警方式為自定義和質量負責人時,會按照合并策略合并告警消息。

    說明

    值班表不支持告警合并。

②列表區

為您展示告警配置的名稱、生效范圍、每種告警類型的具體接收人以及對應的告警接收方式。

生效范圍:自定義告警支持查看配置的對象名和規則名,若該規則被刪除,則無法查看對象名,建議您更新告警配置。

image

③操作區

您可以對配置的告警執行編輯和刪除操作。

  • 編輯:支持修改已配置的告警信息。若修改告警接收人和告警方式,請及時同步相關人員,避免遺漏業務告警信息。

  • 刪除:刪除后,此條告警配置命中的規則將不再生效,請謹慎操作。

添加異常歸檔表

異常歸檔表實現質量規則校驗異常的記錄歸檔。

  1. 質量規則詳情頁面,單擊異常歸檔頁簽,再單擊+添加異常歸檔表按鈕,進入添加異常歸檔表對話框。

  2. 添加異常歸檔表對話框,配置參數。

    添加方式支持新建表選擇已有表兩種方式。增加了特殊的質量校驗字段,異常數據歸檔不會寫入原來的數據表。

    • 新建表:可自定義表名,需在歸檔表所屬項目或所屬板塊內,默認填入當前表名_exception_data。添加成功后會在同庫或同數據源新建表。支持輸入字母、數字、下劃線(_)以及點(.),不超過128個字符。

      • 監控表為物理表時,將在監控表所在項目創建歸檔表。

      • 監控表為維度邏輯表、事實邏輯表時,默認會在監控表所在項目創建歸檔表,也可以手動指定為監控表板塊下的項目,如projectA.table_name。

      • 監控表為匯總邏輯表時,歸檔表名建議指定同板塊下的項目名稱,否則會自動歸檔到監控表所在板塊下的一個項目。

      • 歸檔表必須包含質量監控表的所有字段及校驗字段,腳本格式如下:

        create table 當前表名_exception_data
         (dataphin_quality_tenant_id      varchar(64)   comment '租戶ID' , 
          dataphin_quality_rule_id        varchar(64)   comment '質量規則ID', 
          dataphin_quality_rule_name      varchar(256)  comment '質量規則名稱', 
          dataphin_quality_column_name    varchar(1024) comment '校驗字段名稱', 
          dataphin_quality_watch_task_id  varchar(128)  comment '監控對象任務ID', 
          dataphin_quality_rule_task_id   varchar(64)   comment '規則任務ID', 
          dataphin_quality_validate_time  varchar(64)   comment '質量校驗時間', 
          dataphin_quality_archive_mode   varchar(32)   comment '異常歸檔模式,ONLY_ERROR_FIELD/FULL_RECORD', 
          dataphin_quality_error_data     string        comment '異常數據', 
          ljba_id                         bigint        comment  'ljba_主鍵', 
          ljb_id                          bigint        comment  'ljb_主鍵', 
          col_tinyint                     tinyint       comment '字段類型為TINYINT且小寫',
          col_tinyint_02                  tinyint       comment '2',
          col_smallint                    smallint      comment '字段類型為SMALLINT且小寫',
          col_smallint_02                 smallint      comment '4',
          col_int                         int           comment '字段類型為INT且小寫',
          col_int_02                      int           comment '6',
          col_bigint                      bigint        comment '字段類型為BIGINT且小寫',
          col_bigint_02                   bigint        comment '8',
          col_float                       float         comment '字段類型為FLOAT且小寫',
          col_float_02                    float         comment '10',
          col_double                      double        comment '字段類型為DOUBLE且小寫',
          col_double_02                   double        comment '11',
          col_decimal                     decimal(38,18) comment '字段類型為DECIMAL(38,18)且小寫',
          col_decimal_02                  decimal(38,18) comment '12',
          col_varchar                     varchar(500)   comment '字段類型為VARCHAR(500)且小寫',
          col_varchar_02                  varchar(500)   comment '13',
          col_char                        char(10)       comment '字段類型為CHAR(10)且小寫',
          col_char_02                     char(10)       comment '14',
          col_string                      string         comment '字段類型為STRING且小寫',
          col_string_02                   string         comment '15',
          col_date                        date           comment '字段類型為DATE且小寫',
          col_date_02                     date           comment '16',
          col_datetime                    datetime       comment '字段類型為DATETIME且小寫',
          col_datetime_02                 datetime       comment '17',
          col_timestmap                   timestamp      comment '字段類型為TIMESTAMP且小寫',
          col_timestmap_02                timestamp      comment '18',
          col_boolean                     boolean        comment '字段類型為BOOLEAN且小寫',
          col_boolean_02                  boolean        comment '19',
          col_binary                      binary         comment '字段類型為BINARY且小寫',
          col_binary_02                   binary         comment '20',
          col_array                       array<int>     comment '字段類型為ARRAY<int>且小寫',
          col_array_02                    array<string>  comment '21',
          col_map                         map<string,string>  comment '字段類型為MAP<string, string>且小寫',
          col_map_02                      map<string,int>     comment '22',
          ds                              string              comment '日期分區, yyyyMMdd'
         ) 
        partitioned by 
        (dataphin_quality_validate_date string comment '校驗日期(分區字段)');
    • 選擇已有表:支持選擇同項目或同數據源表,歸檔表必須包含質量監控表的所有字段及校驗字段,您可以單擊查看異常歸檔表DDL查看建表語句,腳本格式如下:

      create table 當前表名_exception_data
       (dataphin_quality_tenant_id      varchar(64)   comment '租戶ID' , 
        dataphin_quality_rule_id        varchar(64)   comment '質量規則ID', 
        dataphin_quality_rule_name      varchar(256)  comment '質量規則名稱', 
        dataphin_quality_column_name    varchar(1024) comment '校驗字段名稱', 
        dataphin_quality_watch_task_id  varchar(128)  comment '監控對象任務ID', 
        dataphin_quality_rule_task_id   varchar(64)   comment '規則任務ID', 
        dataphin_quality_validate_time  varchar(64)   comment '質量校驗時間', 
        dataphin_quality_archive_mode   varchar(32)   comment '異常歸檔模式,ONLY_ERROR_FIELD/FULL_RECORD', 
        dataphin_quality_error_data     string        comment '異常數據', 
        ljba_id                         bigint        comment  'ljba_主鍵', 
        ljb_id                          bigint        comment  'ljb_主鍵', 
        col_tinyint                     tinyint       comment '字段類型為TINYINT且小寫',
        col_tinyint_02                  tinyint       comment '2',
        col_smallint                    smallint      comment '字段類型為SMALLINT且小寫',
        col_smallint_02                 smallint      comment '4',
        col_int                         int           comment '字段類型為INT且小寫',
        col_int_02                      int           comment '6',
        col_bigint                      bigint        comment '字段類型為BIGINT且小寫',
        col_bigint_02                   bigint        comment '8',
        col_float                       float         comment '字段類型為FLOAT且小寫',
        col_float_02                    float         comment '10',
        col_double                      double        comment '字段類型為DOUBLE且小寫',
        col_double_02                   double        comment '11',
        col_decimal                     decimal(38,18) comment '字段類型為DECIMAL(38,18)且小寫',
        col_decimal_02                  decimal(38,18) comment '12',
        col_varchar                     varchar(500)   comment '字段類型為VARCHAR(500)且小寫',
        col_varchar_02                  varchar(500)   comment '13',
        col_char                        char(10)       comment '字段類型為CHAR(10)且小寫',
        col_char_02                     char(10)       comment '14',
        col_string                      string         comment '字段類型為STRING且小寫',
        col_string_02                   string         comment '15',
        col_date                        date           comment '字段類型為DATE且小寫',
        col_date_02                     date           comment '16',
        col_datetime                    datetime       comment '字段類型為DATETIME且小寫',
        col_datetime_02                 datetime       comment '17',
        col_timestmap                   timestamp      comment '字段類型為TIMESTAMP且小寫',
        col_timestmap_02                timestamp      comment '18',
        col_boolean                     boolean        comment '字段類型為BOOLEAN且小寫',
        col_boolean_02                  boolean        comment '19',
        col_binary                      binary         comment '字段類型為BINARY且小寫',
        col_binary_02                   binary         comment '20',
        col_array                       array<int>     comment '字段類型為ARRAY<int>且小寫',
        col_array_02                    array<string>  comment '21',
        col_map                         map<string,string>  comment '字段類型為MAP<string, string>且小寫',
        col_map_02                      map<string,int>     comment '22',
        ds                              string              comment '日期分區, yyyyMMdd'
       ) 
      partitioned by 
      (dataphin_quality_validate_date string comment '校驗日期(分區字段)');
  3. 單擊確定,完成異常歸檔表添加。

    您可以選中創建成功后自動設置為生效歸檔表,便于后續創建質量規則時,自動選中歸檔表。

查看異常歸檔表列表

添加成功后,默認第一個為當前生效中的歸檔表。單擊異常歸檔表的名稱,可以查看該表的表結構信息。同時,您可以對其他歸檔表執行置為生效歸檔表、刪除操作。

  • 置為生效歸檔表:若把該表置為當前生效中的歸檔表,該監控對象下所有已創建的質量規則選擇歸檔位置配置為自定義異常歸檔表,則會將異常數據歸檔到當前指定的表。

  • 刪除:僅刪除異常歸檔表的引用關系,不會刪除異常歸檔表本身,刪除后如果需要可以重新添加。

    image

查看質量報告

單擊質量報告,查看當前質量規則的規則校驗概覽規則校驗明細

  • 您可根據異常結果、分區時間、規則或對象的名稱關鍵字快捷篩選校驗明細。

  • 在規則校驗明細列表中的操作列單擊image圖標,查看質量規則的規則校驗詳情。

  • 在規則校驗明細列表中的操作列單擊image圖標,查看質量規則的執行日志。

設置質量規則權限管理

  1. 單擊權限管理,配置可查看詳情,即指定成員查看校驗記錄詳情、質量規則詳情、質量報告。

    可查看詳情:可選擇所有成員僅超級管理員、質量管理員和質量負責人

  2. 單擊確定,完成權限管理配置。

后續步驟

上述質量規則配置完成后,即可在Dataphin表規則列表頁面查看。詳情請參見管理監控對象列表