業務系統元數據以列表形式為您展示采集到的元數據信息,您可以從不同視角出發查詢數據。本文為您介紹如何管理業務系統元數據。
權限說明
超級管理員、系統管理員和具有業務系統元數據管理權限的自定義全局角色支持管理業務系統元數據、查看元數據詳情。
管理業務系統元數據列表
在Dataphin首頁的頂部菜單欄,選擇治理 > 元數據。
在左側導航欄選擇元數據管理 > 業務系統元數據,進入業務系統元數據頁面。
在業務系統元數據頁面,您可以從全部元數據、數據源、業務系統視角查看元數據信息。
當定位在全部元數據時,為您展示元數據的名稱、描述、采集數據源和數據源編碼、歸屬業務系統、元數據類型、最新版本、采集任務、更新頻率信息。
當指定某一個數據源時,將為您展示元數據的名稱、Schema、描述、元數據類型、最新版本信息,您可以單擊列表標題后的查看詳情或數據源后的查看詳情,查看該數據源對應的采集任務信息,包括數據源名稱、數據源編碼、采集任務、更新頻率、歸屬業務系統。
當指定某一個業務系統時,將為您展示元數據的名稱、采集數據源和數據源編碼、元數據類型、最新版本、采集任務、更新頻率信息,您可以單擊列表標題后的查看詳情或業務系統后的查看詳情,查看該業務系統的配置信息,包括業務系統名稱、描述、運營人員、系統對接人。
(可選)左側目錄樹支持切換不同視角檢索元數據,或在右上角搜索、篩選目標元數據。
目錄樹:
數據源視角:按照采集配置的來源數據源查看元數據。在該視角下,為您展示數據源類型和數據源的目錄樹,您可以展開數據源類型,選擇某一個目錄后右側列表會自動篩選出歸屬當前目錄的元數據。
業務系統視角:按照數據歸屬的業務系統查看元數據。您可以選擇某一個業務系統后,右側列表會自動篩選出歸屬當前業務系統的元數據。
搜索與篩選:您可以根據元數據的名稱或描述進行模糊搜索,或快捷篩選已刪除數據,或根據來源數據源、Schema、業務系統、元數據類型進行篩選,或從不同視角篩選元數據。
數據源視角可以根據Schema(MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、Hive、StarRocks數據源不支持該篩選項)、元數據類型進行篩選。
業務系統視角可以根據來源數據源、Schema、元數據類型進行篩選。
全部元數據:您可以單擊全部元數據,查看全量元數據。
您可以對目標元數據對象執行如下操作。
操作項
描述
查看元數據
您可以單擊采集數據源的名稱,系統會切換至數據源視角并定位至該數據源;若單擊歸屬業務系統的名稱,系統會切換至業務系統視角并定位至該業務系統。
查看采集任務
您可以單擊采集任務的名稱,查看該對象的采集任務配置信息。
查看元數據詳情
您可以單擊元數據的名稱或操作列下的查看圖標,跳轉至元數據詳情頁,詳情請參見查看元數據詳情。
查看版本詳情
您可以單擊操作列下的版本管理圖標,跳轉至元數據詳情的版本管理頁簽,詳情請參見版本管理。
刪除
若源系統數據未刪除,下一次采集后該數據仍會重新展示。
查看元數據詳情
單擊目標元數據操作列下的查看圖標,進入元數據詳情頁面。
在元數據詳情頁面,為您展示元數據的基本信息、表詳情、字段詳情、版本管理。
基本信息:為您展示元數據的名稱、數據源類型、數據源及數據源編碼、所屬Schema/所屬Database/所屬MaxCompute項目、元數據類型、采集任務信息。
查看采集任務:點擊采集任務的名稱,支持跳轉至采集任務列表頁面自動篩選出對應的采集任務。
說明當數據源為Oracle、PostgreSQL、Microsoft SQLServer、SAP HANA、IBM DB2、Hologres時展示所屬Schema信息。
當數據源為MySQL、AnalyticDB for MySQL 3.0、PolarDB-X(原DRDS)、Hive、StarRocks時,展示所屬Database信息。
僅當數據源為MaxCompute時,展示所屬MaxCompute項目信息。
表詳情:為您展示表、視圖的系統屬性信息,包括業務屬性和技術屬性。
業務屬性:包括歸屬業務系統信息。
技術屬性:
關系型數據庫:包括描述、表行數、存儲類型(內部表、外部表)、存儲量信息。
大數據存儲:
Hologres:包括描述、是否分區表、分區父表名稱(僅分區子表展示該信息)、分區條件(僅分區子表展示該信息)、分區子表數量(僅分區父表展示該信息)、表行數、存儲類型(內部表、外部表)、存儲格式、存儲量、創建時間、最近更新時間、最近DDL更新時間、生命周期信息。
Hive:包括描述、是否分區表、表行數、存儲類型(內部表、外部表)、存儲格式、存儲量、創建時間、最近DDL更新時間信息。
StarRocks:包括描述、表類型(僅內部表展示該信息)、物化視圖類型(僅物化視圖展示該信息)、是否失效(僅物化視圖展示該信息)、是否分區表、表行數、存儲類型(內部表、外部表)、存儲格式、存儲量、創建時間、最近更新時間信息。
部分數據源針對不同的元數據類型的對象可獲取的信息有差異,詳情請參見元數據表屬性。
說明當數據類型為關系型數據庫且元數據類型為視圖時,技術屬性僅支持查看描述信息。
當數據表為Oracle表時,存儲量通過表行數和每行平均使用空間(單位為字節)進行估算,不包括索引、未使用的空間、碎片等信息的統計,統計值會低于實際占用的空間大小。
若數據源表為分區表,表行數信息僅供參考;當前暫不支持采集分區表主表的表行數信息。
字段詳情:為您展示指定版本的字段的名稱(主鍵字段用鑰匙符號標識)、數據類型、描述、字段是否可為空及默認值信息。若當前表為分區表,可查看分區信息,其中,部分數據源展示的信息有差異,詳情請參見元數據字段屬性。
您可以根據字段的名稱或描述進行搜索,也可以切換查看不同版本的字段詳情。
分區詳情:當數據源類型為大數據存儲且當前表為分區表時展示分區詳情。多級分區將按照各級分區組合結果展示,不同分區之間用正斜線(/)連接。
說明分區記錄數和存儲量信息僅供參考。
版本管理:根據采集任務的采集策略配置和源系統數據變更情況,每次存儲的業務系統元數據有變更時會生成新的版本。不同數據源生成元數據版本的說明,請參見元數據版本。
例如:數據更新策略配置添加新的元數據,更新已變更元數據、忽略刪除操作;則連續兩次采集時,如果源系統沒有新增或更新的數據,僅有被刪除的數據時,就不會生成新的元數據版本。
您可以根據版本的名稱搜索版本。
為您展示版本號、對比上一版本更新、表描述、版本生成時間信息。同時,您可以查看版本對比信息。
對比上一版本更新:根據采集任務配置的采集策略,對比上一版本的業務系統元數據變更情況。
版本對比:支持切換查看歷史版本記錄,為您展示基本信息、變更字段、全部字段。詳情請參見版本對比。
版本對比
您可以在版本對比頁面,切換不同版本查看元數據是否有更新。
版本選擇:選擇基準版本和對比版本,查看兩個版本之間的元數據差異信息。
基準版本:僅支持選擇早于對比版本生成的歷史版本。
對比版本:僅支持選擇晚于基準版本生成的新版本。
基本信息:為您展示采集完成時間、執行方式及影響版本生成的表屬性信息,請參見元數據版本。
變更字段:為您展示已選中的對比版本比較基準版本的差異項,包括變更字段的序號、字段名稱、數據類型、是否可為空、默認值、描述、變更類型。
例如,對比版本修改了字段的描述,則該字段的變更類型為更新。
全部字段:為您分別展示基準版本和對比版本的全部字段信息,包括序號、字段名稱、數據類型、是否可為空、默認值、描述。