您可以在問題清單頁面查看數據質量規則校驗異常結果和在使用資產或標簽過程中反饋的問題,并可以對該問題發起的整改、忽略異常、加入白名單等治理操作。本文為您介紹如何添加并管理問題清單。
使用說明
需開通數據質量模塊。
權限說明
超級管理員、質量管理員或具有治理工作臺管理權限的自定義全局角色可以查看及管理所有問題清單詳情,包括發起整改、加入白名單、忽略異常、重新打回處理等操作。
其他成員可以查看自己提出的問題;自己作為負責人的問題支持執行對應的操作,包括發起整改、加入白名單、忽略異常、重新打回處理等。
所有擁有對象查看權限的用戶均可以添加問題。
從不同視角查看問題清單
Dataphin支持從全局、項目、個人三個視角查看問題清單詳情。
全局:超級管理員、質量管理員或具有治理工作臺流程管理權限的自定義全局角色可以從全局查看所有問題清單。
項目:超級管理員、質量管理員或具有治理工作臺流程管理權限的自定義全局角色支持切換全局任一項目并查看該項目下資產對象的問題清單;其他成員僅可選擇自己已加入的項目并查看該項目下的問題清單。
說明項目視角下不展示全域表、數據源、標簽對象類型。
個人:超級管理員、質量管理員或具有治理工作臺流程管理權限的自定義全局角色支持切換至任一成員并查看該成員的問題清單,其他成員可查看自己提出或自己負責的問題清單,并且不支持切換。
添加問題
在Dataphin首頁,單擊頂部菜單欄中的治理 > 數據質量。
單擊左側導航欄的問題清單,單擊添加問題,進入反饋質量問題對話框。
在反饋質量問題對話框中,配置參數。
參數
描述
問題對象
選擇需要反饋問題的對象。并根據對象類型配置對應的參數,針對數據表和實時元表,若未選中具體字段,則記錄為表粒度的問題;若選中具體的字段,則記錄為指定字段粒度的問題。
問題類型
選擇該問題的類型。若無合適問題類型,可聯系有權限的管理員進行創建,詳情請參見自定義問題類型。
問題描述
請針對需要反饋的問題進行簡單描述,便于問題負責人了解相關背景信息。不超過1000個字符。
附件
單擊上傳按鈕,從本地選擇需要上傳的文件。單個問題支持上傳不超過5個文件。
文件支持Doc(.doc、.docx、.dot、.dotx、.rtf、.html、.xml、.txt)、Excel(.xls、.xlsx、.csv)、PDF、圖片(.jpg、.png、.jpeg)格式,且大小在10MB以內。
聯系方式
如果方便,可以您的聯系方式,便于問題負責人聯系您進一步了解問題詳情,支持的聯系方式為電話、郵件、其他。
電話:支持輸入數字、短劃線(-)、加號(+)、半角括號、空格,長度不超過20個字符。
郵件:請輸入郵件地址。
其他:支持輸入長度不超過100個字符。
單擊確定,完成問題的添加。
查看問題清單列表
問題清單頁面為您展示數據質量在校驗過程中所產生的問題和在使用資產或標簽中反饋的問題,并針對產生的問題進行發起整改、加入白名單、忽略、通知等操作。
參數 | 描述 |
①圖例卡片 | 為您展示不同類型對象的待處理問題數、全部問題數,包括Dataphin表、全域數據表、指標、數據源、實時元表、標簽。您可以切換查看對應問題清單列表。 |
②搜索及篩選區 | 您可以根據校驗對象的名稱或質量規則的名稱進行模糊搜索。 Dataphin表、全域數據表、指標、數據源、實時元表可以根據待處理的、我提出的、我負責的、規則強度、問題狀態、問題類型、提出方式/提出人、問題負責人進行精確篩選。 標簽可以根據待處理的、我提出的、我負責的、問題狀態、問題類型、問題負責人進行精確篩選。 自定義問題類型:單擊問題類型后的管理,可在管理問題類型的對話框中,填寫問題類型的名稱,名稱長度不超過20個字符。單擊確定,完成問題類型的創建。 系統內置的問題類型不支持編輯或刪除操作;自定義的問題類型支持編輯或刪除操作。 支持創建的問題類型不超過50個。 |
③問題清單列表 | 僅通過質量規則校驗生成的系統自動識別問題展示規則名稱、規則強度、校驗范圍、校驗時間信息;僅手動錄入的質量問題展示提出人信息。不同的問題狀態支持執行不同的治理操作,請參見單個操作。
|
④批量操作區 | 系統識別問題可以對問題對象批量執行忽略此次異常、取消忽略、加入白名單、發起整改、修改問題類型、關聯知識庫文檔等操作。 手動錄入問題可以對問題對象批量執行忽略此次異常、取消忽略、發起整改、標記為已處理、打回重新處理、修改問題類型、轉交問題負責人(僅限標簽對象類型)操作。 您可以根據不同的問題狀態批量執行不同的治理操作,請參見批量操作。 |
操作說明
問題狀態
問題狀態 | 操作項 |
待處理 |
|
校驗中 | 系統識別問題支持查看詳情、發起整改、通知問題負責人、加入白名單、修改問題類型、查看操作記錄、關聯知識庫文檔。 |
已處理 |
|
已忽略 |
|
單個操作
操作項 | 描述 |
查看詳情 |
|
發起整改 | 發起整改后,可對該問題的全整改流程進行查詢追蹤。 整改流程配置,請參見發起整改。如何管理整改流程,請參見查看并管理整改流程。 說明 僅超級管理員、質量管理員、問題負責人及具有治理工作臺流程管理權限的自定義全局角色支持發起流程。 |
忽略此次異常 | 把待處理的問題置為已忽略后,將無需處理。建議針對不重要的問題進行忽略。 使用場景:數據源連通性中間斷過,但目前已經穩定,無需進行修復;或者歷史任務中出現過異常,但最新數據處理中已經用不到了,可以選擇直接忽略。 |
取消忽略 |
|
通知問題負責人 | 您可以通過站內信、電話、短信、郵件、釘釘方式通知問題負責人。 |
轉交問題負責人 | 可轉交當前問題的負責人給其他用戶,在轉交問題負責人對話框中,選擇接收人后,單擊確定即可立即轉出,建議在轉交后及時同步接收人。 |
標記為已處理 | 僅待處理狀態的手動錄入問題支持標記為已處理,如需發起整改,可將處理結果打回。 |
打回重新處理 | 僅對已處理狀態的手動錄入問題支持打回重新處理,打回后的問題狀態將變為待處理。 您可以通過站內信息通知問題負責人,以便通知相關負責人及時處理。 說明 僅超級管理員、質量管理員、問題負責人及具有治理工作臺流程管理權限的自定義全局角色支持打回重新處理操作。 |
修改問題類型 | 支持根據類型對問題進行分類,便于進行篩選及歸納統計。其中,系統自動識別的問題會根據質量規則類型,默認添加對應的系統問題類型且不支持修改,手動配置的問題類型可新增或刪除。 若無合適的問題類型,可進行創建,詳情請參見自定義問題類型。 |
刪除問題 | 刪除問題后,該問題將同時從整改流程中刪除。刪除后不可撤銷,請評估后操作。 |
加入白名單 | 使用場景:當前表正處在測試階段,每天數據不穩定,可以等數據穩定了之后再進行監控。 如何加入白名單,請參見加入白名單。如何管理白名單,請參見查看并管理治理白名單。 說明
|
重新校驗 | 僅支持待處理、已忽略狀態的系統識別問題重新校驗。如果數據質量問題已經處理,可以將當前問題重新執行校驗規則,會按照執行后的校驗狀態修改問題狀態,如果校驗通過,問題的狀態將變為已處理;如果校驗不通過,問題狀態將變為待處理。 |
查看操作記錄 | 為您展示當前問題的操作記錄信息,包括問題對象名稱、問題的操作類型、問題狀態、操作說明、操作人、操作時間信息。 |
關聯知識庫文檔 | 僅支持系統自動識別的問題關聯知識。規則關聯知識后,可在質量規則和問題清單中查看關聯知識。支持為問題對象批量配置知識庫。如需創建,請參見新建知識庫。 |
批量操作
操作項 | 描述 |
忽略此次異常 | 可把待處理的問題置為已忽略后,將無需處理。建議針對不重要的問題進行忽略。 使用場景:數據源連通性中間斷過,但目前已經穩定,無需進行修復;或者歷史任務中出現過異常,但最新數據處理中已經用不到了,可以選擇直接忽略。 |
取消忽略 | 僅已忽略的問題支持取消忽略操作。取消忽略后,手動錄入的問題狀態將變為待處理;系統識別的問題將會按照最新一次規則校驗結果確定問題狀態。如果校驗通過,問題狀態將變為已處理;如果校驗不通過,問題狀態將變為待處理。 |
加入白名單 | 使用場景:當前表正處在測試階段,每天數據不穩定,可以等穩定了之后再進行監控。如何加入白名單,請參見加入白名單。如何管理白名單,請參見查看并管理治理白名單。
|
發起整改 | 發起整改后,可對該問題詳情的整個整改流程進行查詢追蹤。批量發起整改流程和單個操作一致,請參見發起整改。如何管理整改流程,請參見查看并管理整改流程。
|
重新校驗 | 僅支持待處理、已忽略狀態的系統識別問題重新校驗。如果數據質量問題已經處理,可以將當前頁面已選中的問題重新執行校驗規則,會按照執行后的校驗狀態修改問題狀態,如果校驗通過,問題的狀態將變為已處理;如果校驗不通過,問題狀態將變為待處理。 |
標記為已處理 | 僅待處理狀態的手動錄入問題支持標記為已處理,如需發起整改,可將處理結果打回。 |
打回重新處理 | 僅已處理狀態的手動錄入問題支持打回重新處理,打回后的問題狀態將變為待處理狀態。 說明 僅超級管理員、質量管理員、問題負責人及具有治理工作臺流程管理權限的自定義全局角色支持打回重新處理操作。 |
修改問題類型 | 支持追加或修改問題類型。僅對自定義問題類型生效;根據規則類型自動生成的系統問題類型不生效。
|
導出問題 | 針對當前頁面選中的問題進行導出,在對話框中,選擇需要導出的內容,單擊確定。 |
轉交問題負責人 | 可將當前問題的負責人轉交給其他用戶,在轉交問題負責人對話框中,選擇接收人后,單擊確定即可立即轉出,建議在轉交后及時同步接收人。 |
關聯知識庫文檔 | 僅支持系統自動識別的問題關聯知識。規則關聯知識后,可在質量規則和問題清單中查看關聯知識。支持為問題對象批量配置知識庫。如需創建,請參見新建知識庫。 |
加入白名單
加入白名單支持單個和批量操作。
在問題清單頁面,選中目標問題后,單擊操作列下的圖標,選擇加入白名單。
在加入白名單對話框中,配置參數。
參數
描述
白名單范圍
僅系統識別且未忽略的問題支持加入白名單。
針對選擇單個問題對象,可將當前規則、當前監控對象加入白名單。
當前規則:在有效期內,針對當前校驗記錄本身的問題及其當前問題所屬質量規則下已生成的所有待處理、校驗中的問題出現新的質量校驗失敗時,會自動變成已忽略狀態。
當前監控對象:在有效期內,針對當前問題所屬同一監控對象下所有待處理、校驗中的問題出現新的質量校驗失敗時,會自動變成已忽略狀態。
有效期
可選擇7天、30天、90天、180天、永久和自定義。申請當天不計算在內。
說明白名單失效之后,歷史的問題不會補報,但是后續新出現的問題會上報。
操作說明
必填項,請填寫加入白名單的原因。不超過128個字符。
單擊確定,將問題加入白名單。
發起整改
發起整改支持單個和批量操作
在問題清單頁面,選中目標問題后,單擊操作列下的圖標,進入發起整改對話框。
在發起整改對話框中,配置參數。
參數
描述
整改范圍
針對系統識別問題對象,可對當前問題、當前規則、當前監控對象發起整改;針對手動錄入問題對象,僅可對當前問題發起整改。
當前問題:僅包括當前校驗記錄本身的問題,不包括與當前問題對象歸屬同一規則的其他待處理問題。
當前規則:包括當前校驗記錄本身的問題及其所屬質量規則下已生成的所有待處理的系統自動識別問題,可能包含多個不同的校驗范圍。
當前監控對象:包括當前校驗記錄本身的問題及其當前問題所屬同一監控對象下所有待處理的系統自動識別問題,可能包含多個問題對象和校驗范圍。
說明如果當前所選問題已經在整改流程中,那么仍會保持在原有的整改流程中,不會重復發起整改。
發起方式
支持新建流程、關聯已有流程。
新建流程:自定義整改流程名稱,不超過128個字符。
關聯已有流程:支持關聯當前對象類型下已創建的整改中或重新整改狀態的流程。僅超級管理員、質量管理員、問題負責人及具有治理工作臺流程管理權限的自定義全局角色支持選擇所有流程。
整改人
整改人是整改流程的整改過程的負責人,建議選擇問題對象的質量負責人,便于對整改流程中的系統自動識別問題進行編輯或重新發起校驗,否則可能無法更新問題的狀態。若發起方式為關聯已有流程,則默認為已選流程的整改人,不支持修改。
驗收人
驗收人是整改流程的整改結果的最終負責人。若發起方式為關聯已有流程,則默認為已選流程的驗收人,不支持修改。
優先級
分為高、中、低三個層級。若發起方式為關聯已有流程,則默認為已選流程的優先級,不支持修改。
操作說明
請填寫發起整改的原因,不超過128個字符。
單擊確定,完成發起整改。
導出問題清單
僅支持導出有查看權限的問題清單。
單個租戶下支持并發導出任務數為5個。
如果導出的問題清單內容較多,文件生成需要等待一段時間,您可以在批量導出面板查看歷史導出記錄,詳情請參見問題導出記錄。
在問題清單列表頁面,單擊右上角的導出問題按鈕,支持選擇導出全部問題或按搜索及篩選條件導出。
導出全部問題:即導出所在視角下指定對象類型的所有問題。
按搜索及篩選條件導出:導出所在視角下,按關鍵詞搜索及篩選條件過濾后的所有問題,例如:您可以過濾導出所有待處理狀態的問題。
在對話框中,選擇需要導出的內容。
單擊確定,完成問題導出。
問題導出記錄
為您展示您最近50條導出操作記錄。
您可以下載7天內導出成功的文件。
在問題清單列表頁面,單擊右上角的導出問題按鈕,選擇查看批量導出記錄。
在批量導出記錄面板中,查看問題導出是否成功,包括問題的序號、問題對象類型、提交時間、操作狀態信息。同時,您可以單擊操作列下的圖標,將問題下載至本地,方便業務人員進行統計和存檔。