Dataphin支持創建并管理數據標準,以保障數據的標準化生產與管理,節約數據應用和處理的成本。
背景信息
數據標準目標是為業務、技術和管理提供服務和支持。數據標準管理的過程就是對數據以及數據的屬性信息的標準化定義和應用的過程。數據標準的定義必須符合公司的業務應用和管理需求,定義過程中需要參考國際標準、國家標準、監管標準、行業標準、行內標準等內部及外部監管標準。
業務方面:通過對實體數據的標準化定義,解決數據不一致、不完整、不準確等問題,消除數據的二義性,使得數據在企業有一個全局的定義,減少了各部門、各系統的溝通成本,提升企業業務處理的效率;標準統一的數據指標體系,讓業務人員也能夠輕松獲取數據,并能夠自助式地進行數據分析,為基于數據的業務創新提供可能。
技術方面:統一、標準的數據及數據結構是企業信息共享的基礎;標準的數據模型和標準數據為新建系統提供支撐,提升應用系統的開發實施效率;數據標準化清晰定義數據質量規則、數據的來源和去向、校驗規則,提升數據質量。
管理方面:通過數據的標準化定義,明確數據的責任主體,為數據安全、數據質量提供保障;統一、標準的數據指標體系為各主題的數據分析提供支持,提升數據處理和分析效率,提供業務指標的事前提示、事中預警、事后提醒,實現數據驅動管理,讓決策者快速獲取決策信息。
前提條件
已購買數據標準增值服務并且當前租戶已開通數據標準模塊。
應用場景
某集團IT團隊制定了關于員工性別的數據標準:用male表示男性,用female表示女性,用unknown表示未知。
首先,數據標準管理員創建了性別碼表并同步到開發人員;接著創建了員工性別標準,值域范圍引用性別碼表,并添加了字段值域校驗的落標監控;最后創建了落標映射規則。
開發人員在創建集成任務時,查詢了性別碼表,使用字段計算組件,將來源表中0、1、男、女等不規范的字段值轉換為male、female、unknown,接著在目標表的質量規則頁面引用了員工性別標準已創建的監控規則并配置調度。任務運行后,基于質量告警發現來源表字段值轉換失敗,出現了不規范記錄,手動修正目標表。
核心概念
名詞 | 說明 | 相關文檔 |
標準集 | 標準集是規范相似或一致、業務含義相關的一組標準的合集,定義了該集合下的數據標準的管理和查看權限、發布流程的審批模板等信息,以便對數據標準進行更精準的管控。每個數據標準都必須歸屬于唯一的一個標準集,并跟隨標準集所屬目錄實現多級分類管理。 | |
標準模板 |
| |
數據標準 | 數據標準是為業務、技術和管理提供服務和支持,數據標準管理的過程就是對數據以及數據的屬性信息的標準化定義和應用的過程。 | |
落標映射規則 | 通過定義標準屬性和資產對象元數據字段的匹配關系,實現標準和資產對象的映射關聯,是對資產對象進行落標評估的前提條件。 | |
落標評估明細 | 基于落標映射規則配置和落標監控配置,分別從標準視角和資產對象視角展示數據標準和資產對象的映射關系及對應的評估結果,可作為資產落標率評估和推進研發規范整改的依據。 |
用戶角色和權限
僅支持查詢具有“查看”權限的標準,包括:“公開”且未加入的標準集中“已發布”的標準、已加入標準集的全量標準、被指定可見的標準集的全量標準。
用戶成員類型 | 角色類型 | 說明 |
超級管理員 | 系統角色 | 超級管理員可以指定數據標準管理員,同時在數據標準模塊中,等同于數據標準管理員,負責:
|
數據標準管理員 | 系統角色 | 數據標準管理員擁有所有數據標準的查看、操作及管理權限,負責:
|
標準集維護人員 | 功能角色 | 標準集維護人員負責常態化的標準集維護,包括:
|
標準集成員 | 功能角色 |
|
標準負責人 | 數據角色 | 標準負責人是超級管理員、數據標準管理員、標準集維護人員、標準集成員四種用戶成員類型中的一個,除了享有對應角色的權限外,可以:
|
落標規則負責人 | 數據角色 |
|
碼表負責人 | 數據角色 |
|
其他系統角色及普通成員 | 系統角色 |
|
數據標準流程引導
數據標準流程引導能夠幫助您熟悉數據標準的配置鏈路,數據標準的一般使用流程為:
創建標準模板->新建及管理標準集->創建數據標準->標準發布申請->標準審核通過->創建落標映射規則->查看落標映射結果。
在數據標準頁面,您可以單擊流程引導進入幫助引導彈框。(若標準集列表或數據標準列表未創建對象,您可點擊查看引導進入幫助引導彈框)
在幫助引導彈框中,您可以創建標準集、數據標準、碼表和詞根,以及查看數據標準的整體流程引導和落標映射規則的配置案例說明。
數據標準入口
在Dataphin首頁,在頂部菜單欄選擇治理 > 數據標準。
在數據標準頁面,左側導航欄為您展示各功能模塊的入口。
一級菜單
二級菜單
說明
數據標準
數據標準
數據標準列表,支持查看已加入標準集的全量標準。
標準集
標準集列表。
落地評估
落標映射規則
根據標準集屬性和資產對象元數據屬性配置的映射規則列表,包括映射規則生效范圍的配置。
映射關系
資產對象和數據標準之間的映射關系列表,包括已確認的映射關系和被指定為無效映射的關系。支持按資產粒度匯總查看或按映射關系全量平鋪查看2種模式。其中,支持針對已映射關系配置質量監控規則。
落標評估明細
為您展示全局所有參與落標映射及評估的標準和資產對象的評估明細,支持從標準視角和資產對象視角2個視角查看。
落標執行記錄
為您展示落標映射規則的運行詳情及運行日志。
參考數據
標準代碼(碼表)
標準代碼(碼表)列表,可查看碼表詳情。
詞根
詞根列表,可查看詞根詳情。
標準文檔
標準文檔列表,可查看文檔詳情。
通用配置
公共標準屬性
公共標準屬性列表,包括自定義公共屬性和系統公共屬性。
標準模板
標準模板列表,可查看每個標準模板的屬性詳情以及引用該模板創建的數據標準信息。
識別特征
識別特征列表,包括自定義識別特征和系統內置識別特征。