數據標準是為業務、技術和管理提供服務和支持,數據標準管理的過程就是對數據以及數據的屬性信息的標準化定義和應用的過程。本文為您介紹如何創建及管理數據標準。
權限說明
超級管理員、數據標準管理員可以在所有標準集下新建或克隆數據標準。
標準集維護人員及標準集成員可以在已加入的標準集下新建或克隆數據標準。
超級管理員、數據標準管理員及標準負責人可以管理所負責的數據標準,包括編輯、提交上線、刪除、下線、編輯關聯標準等。
使用限制
單個標準集下可創建的標準個數不超過1000個。
標準列表
在數據標準頁面您可以更聚焦于某個關注的或與自己相關的標準集,快速概覽該標準集下的標準概況。數據標準列表為您提供編輯和查看兩種展示模式,在標準列表頁面,單擊右上角圖標進行切換查看。
在查看模式下,可以查看已經配置的標準集目錄和數據標準信息,但不支持操作,適用于瀏覽場景。
在編輯模式下,除了查看已經配置的標準集目錄和數據標準外,支持對標準執行編輯、刪除、新建標準、克隆、上線、發布、撤銷等操作;對標準集目錄執行編輯、刪除等操作。僅在當前標準集下有數據標準管理權限的賬號可進入編輯模式。下圖以編輯態為例。
區域 | 描述 |
①篩選與搜索區 | 您可根據標準的名稱、編碼或ID進行搜索,也可根據我負責的、標準的負責人、所屬標準集、標準類型、標準模板進行篩選。 |
②標準集 | 標準集目錄從業務或組織架構視角出發,對標準集和標準進行分類、分層管理。
|
③標準列表 | 標準不同的狀態展示的信息及支持的操作不同。操作詳情請參見標準支持的操作。
|
標準支持的操作
狀態 | 操作項 |
已生效、待生效、已失效 | 支持查看、編輯、克隆、編輯關聯標準、編輯關聯文檔、訂閱標準變更、下線。也可單擊底部的訂閱標準變更、下線按鈕,批量將已生效、待生效或已失效的標準下線或訂閱標準變更。 |
發布中 | 支持查看、跳轉審批任務、重新發布、撤銷發布、克隆、編輯關聯標準、編輯關聯文檔、訂閱標準變更。 |
修訂中、草稿 | 支持查看、編輯、提交上線、克隆、編輯關聯標準、編輯關聯文檔、訂閱標準變更、刪除。也可單擊底部的訂閱標準變更、上線、刪除按鈕,批量將修訂中或草稿態的標準提交上線、刪除或訂閱標準變更。 |
操作項 | 描述 |
查看 | 您可以單擊標準的名稱或操作列下的查看圖標,查看標準的基本信息、監控規則及歷史版本配置詳情?;拘畔⒑捅O控詳情頁面支持切換查看歷史版本記錄。
|
編輯 |
|
提交上線 | 若當前標準所在標準集開啟了上線審批,則提交上線需經過審批,審批通過后標準將變為已生效或待生效狀態;若未開啟審批,提交并通過校驗后直接發布至生產環境。 說明
|
克隆 | 可快速克隆標準。 |
刪除 | 草稿態和修訂中的標準支持刪除,刪除后不可撤銷,請謹慎操作。 說明 批量刪除標準僅支持對有操作權限的標準進行操作,否則將跳過,您可以在批量操作記錄中查看信息,詳情請參見批量導入導出數據標準。 |
跳轉審批任務 | 可跳轉查看標準對應的審批任務。 |
重新發布 |
說明 如果選中的標準所在的標準集開啟了合并審批,且標準之前存在一個被駁回或撤銷發布的審批流程,則本次重新發布審批會連帶之前流程中的所有標準重新發起一個審批流程。建議您先查看歷史審批任務,確認提交的標準范圍是否符合預期,如果不希望連帶的標準重新發布,建議您先撤銷發布后再重新提交發布申請。 |
撤銷發布 |
說明 若當前標準所在的標準集開啟了合并審批任務,則整個審批任務都會被一起撤回。您可以單擊查看審批任務,確認是否符合預期后再撤銷發布。 |
編輯關聯標準 | 支持配置關聯的數據標準信息,便于快捷查看相關的關聯標準關系,例如,業務中其中一個指標的標準關聯了其統計維度的標準。 關聯標準不記錄版本信息,僅選中最新版本時,可查看關聯標準關系。
|
編輯關聯文檔 | 支持配置關聯的標準文檔信息,便于快捷查看相關的關聯文檔關系。 關聯文檔不記錄版本信息,僅選中最新版本時,可查看關聯文檔關系。
|
訂閱標準變更 | 通過訂閱標準狀態能夠及時同步標準狀態的變更,以便根據變更及時作出業務調整。您可以在我訂閱的資產中查看標準訂閱信息,詳情請參見查看我訂閱的資產。
說明
|
下線 | 若當前標準所在標準集開啟了下線審批,則下線標準需經過審批,審批通過后標準將變為草稿狀態;若未開啟審批,提交并通過校驗后直接生成草稿狀態。 說明
|
創建數據標準
數據標準需在指定標準集下基于指定標準模板創建。
標準集決定了標準的分類歸屬以及需要遵循的權限管控和發布審批流程;標準模板決定了創建數據標準需要填寫的屬性信息及可配置的監控等。
數據標準基于是否配置標準模板,分為三個創建入口:
入口一:在全局標準列表下,單擊右上角的新建標準按鈕,選擇標準歸屬的標準集和引用的標準模板后,方可進入標準詳情配置頁面。
入口二:在單個標準集的數據標準列表頁面,如果定位的標準集配置了默認標準模板,將直接進入基于該默認模板屬性配置生成的標準詳情配置頁面。若標準集未配置默認標準模板,您需先選擇標準模板,才可進入新建標準頁面。
入口三:在標準模板列表下,單擊單個標準模板的新建圖標,標準模板默認填充當前模板,并選擇標準集后,進入新建標準頁面。
操作步驟
在Dataphin首頁,單擊頂部菜單欄的治理 > 數據標準。
下圖以在全局標準列表頁面新建標準為例進行講解,單擊左側導航欄的數據標準,再單擊+新建標準按鈕。
在新建數據標準對話框中,選擇標準集和標準模板。
標準集:請選擇數據標準歸屬的標準集。
標準模板:如果已選擇的標準集配置了默認標準模板,將默認為您填充標準集已配置的默認模板;如果未設置默認模板,您還需要選擇標準模板。如需創建標準模板,請參見創建及管理標準模板。
單擊下一步,進入新建標準頁面,配置標準的參數信息。
如果您需要切換標準模板,可以單擊右上角的切換,更換標準模板。
重要若已經配置了數據標準信息,切換后,已配置信息將全部清空且無法恢復,請檢查配置信息是否完整且符合屬性值規范。
參數
描述
屬性配置
屬性信息
屬性值填寫規范取決于所屬的標準模板的屬性配置。例如:暫停調度日期屬性所對應的字段取值類型為枚舉值(單選),可選枚舉值范圍引用了中國法定節假期碼表,則創建數據標準時,該屬性值為下拉單選框,可選項為枚舉值(單選),可選枚舉值范圍為引用了中國法定節假期碼表的碼值。
標準編碼值:若當前模板的標準編碼為基于編碼規則自動生成,系統為您展示基于規則生成的編碼值,您可以單擊重新生成,系統會為您重新生成一個新的編碼值,也可以單擊切換為自定義編輯,根據當前模板的編碼規則約束填寫編碼值。
系統屬性配置:
范圍值:若屬性字段取值類型為范圍值,則配置方式如下:
輸入枚舉值:常用于取值范圍可枚舉的情況。多個枚舉值之間用英文半角逗號分隔,不超過5000字符。
區間值:常用于取值范圍是連續數值或日期的情況??蛇x擇>、>=、<、<=、不限制五種符號,若最大值和最小值都選擇不限制,則無需配置。
引用碼表:常用于屬性值范圍是動態變化的,或需要遵循某個約束的場景。僅可選狀態為已發布的碼表。
更多屬性配置信息,請參見自定義屬性。
內置屬性:若引用Dataphin系統內置屬性,約束配置如下所示:
當屬性配置引用系統屬性-數據類型時,需要選擇字段在數據庫中存儲的數據類型。
若數據類型選擇了CHAR(n)或者VARCHAR(n),則需配置長度。CHAR默認為255,可選擇1~255之間的整數,VARCHAR默認為1000,可選擇1~65535之間的整數。
若數據類型選擇了DECIMAL(p,s),則需要配置精度。DECIMAL默認[38,18]。
precision可以選擇1~38之間的整數,scale可以選擇0~18之間的整數。
說明scale必須小于precision,否則輸入無效。
當屬性配置引用系統屬性-值域時,根據配置的屬性字段取值類型和范圍值類型來配置取值約束范圍。
當屬性配置引用系統屬性-是否可為空值/是否可為空字符串/是否唯一值時,可選擇取值約束為是或否。
當屬性配置引用系統屬性-數據分類/數據分級時,請選擇您所需的數據分類類別和數據分級等級,以便更好的對數據進行分層管控。如何創建數據分類和數據分級,請參加創建及管理數據分類、創建及管理數據分級。
說明若系統內置的屬性被數據標準引用,則自帶的落標監控會一起被引用。如果您未開通對應的模塊開通,則不可引用系統屬性內置的落標監控配置,僅可引用屬性配置,不同功能模塊對應不同的屬性如下:
值域、是否可為空值、是否可為空字符串、是否唯一值內置內容質量監控,因此需開通資產質量模塊功能方可使監控生效。
數據分類、數據分級需開通資產安全模塊功能方可使監控生效。
引用的系統公共屬性未配置屬性值,將不會生成對應的監控項;系統將按照填寫的屬性值根據落標監控配置自動生成對應的監控項。
業務信息
標準集及目錄
默認標準集名稱。
生效時間
設置標準的生效時間。
永久:永久生效。
自定義:在指定的時間段內生效。超過指定的時間段,標準會變為已失效狀態,如果需要繼續使用該標準,您可以修改生效時間后重新發布。
負責人
選擇該標準的負責人。標準負責人需要是所屬標準集的維護人員或成員,可以編輯和刪除該標準。
描述
自定義描述,不超過256個字符。
智能映射配置
識別特征
配置與標準相關聯的識別特征后,在落標映射規則執行時會基于定義的特征表達式、結合數據內容詳情和對象描述等元數據信息智能推薦標準和資產對象之間的映射關系,可減少人工配置成本。支持選擇不超過20個識別特征。多個識別特征之間為或的關系。
單擊查看識別特征,可跳轉至識別特征頁面查看識別特征信息。
監控規則
監控規則包括引用系統屬性繼承的元數據監控和內容質量監控,以及自定義添加的質量監控規則,查看元數據和內容質量監控詳情,請參見元數據監控和內容質量監控,創建質量監控規則請參見質量監控規則配置。您可以單擊按鈕,查看監控配置的說明詳情。
監控規則配置
如果您購買了資產質量模塊,可以自定義添加質量監控,如字段唯一值校驗。配置后,當前標準映射到的所有資產對象,都可以在質量規則配置頁面快速引用添加當前標準配置的監控,以更好地遵循數據標準的約束,并實現批量創建質量監控的效果。每個數據標準最多配置100條監控規則。
若該標準刪除質量監控規則,則引用生成的質量規則配置將不完整,請根據業務需求,謹慎操作。
若該標準修改質量監控規則,則引用生成的質量規則會同步更新,但不會修改質量自定義配置的內容。
引用帶有監控的公共屬性,則會自動添加相應監控規則,如元數據監控。
創建Dataphin數據表質量規則時,可引用此處配置的質量監控規則,規則配置和校驗配置復用標準配置不可修改,支持自定義規則強弱、調度方式、生效開關、告警等信息。
當前標準映射上的所有資產對象,可在資產質量模塊引用配置的內容質量監控,快速批量生成質量規則。
說明關聯信息
關聯標準
支持查看關聯的數據標準的信息,包括標準名稱、標準編碼、歸屬目錄&標準集、負責人、關聯關系信息。
查看標準:您可單擊標準的名稱或操作列下的查看圖標,查看標準的基本信息、監控規則、歷史版本詳情。
編輯關聯標準:如需新增或刪除關聯標準,需先完成當前標準的編輯,再通過標準列表或標準屬性抽屜進入關聯標準的編輯入口。
關聯碼表
支持查看關聯的碼表信息,包括碼表名稱、碼表編碼、負責人、關聯關系信息。
查看碼表:您可單擊碼表的名稱或操作列下的查看圖標,查看碼表詳情、引用信息。
編輯關聯碼表:關聯碼表基于已配置的標準屬性值自動生成,您可以通過修改屬性值修改標準的關聯碼表信息。
關聯文檔
支持查看關聯的標準文檔信息,包括標準文檔的名稱、描述、所屬目錄、創建人信息。
預覽文檔:當文檔格式為PDF時,支持在線預覽文檔內容。
下載文檔:您可以將標準文檔下載至本地并查看。
編輯關聯文檔:如需新增或刪除關聯文檔,需先完成當前標準的編輯,再通過標準列表或標準屬性抽屜進入關聯文檔的編輯入口
單擊保存,在標準列表查看配置信息。
單擊保存并發布,需在提交上線標準對話框填寫審批備注作為發布上線的參考信息,再單擊確定,將標準發布至生產環境中。
質量監控規則配置
參數 | 描述 | |
基本信息 | 規則名稱 | 根據業務需求自定義規則名稱,不超過128個字符。 |
描述 | 自定義質量規則描述,不超過128個字符。 | |
模板來源 | 系統模板:模板內置參數可配置,適合通用的規則創建。 自定義模板:模板預置參數,無需配置,一般用于含有業務邏輯的規則創建。 | |
規則模板 | 規則模板包括完整性、唯一性、有效性、穩定性。
模板說明詳情請參見模板類型說明。 | |
規則配置 | 配置監控規則的詳情。特殊的,如果需要配置校驗字段的模板,將根據標準映射到的字段或指標自動選中,無需在此處進行配置,其他配置請參見數據表參數配置。 注意:規則配置僅支持在數據標準修改,質量頁面引用當前規則后不支持修改規則配置,但是可以修改規則名稱、規則強弱、調度配置、生效狀態等信息,并進行運行和試跑。 | |
校驗配置 | 校驗配置根據選擇的模板不同有所差異,配置詳情請參見校驗配置說明。 注意:校驗配置僅支持在數據標準修改,質量頁面引用當前規則后不支持修改校驗配置。 |