數據地圖
數據地圖是在元數據基礎上提供的企業數據目錄管理模塊,涵蓋全局數據檢索、元數據詳情查看、數據預覽、數據血緣和數據類目管理等功能。數據地圖可以幫助您更好地查找、理解和使用數據。
元數據采集與接入
MaxCompute數據
如果您使用了MaxCompute引擎,您可以直接在數據地圖進行MaxCompute表元數據管理的相關操作。
其他類型元數據
除MaxCompute外,您還可以通過元數據采集功能將不同數據源中的元數據導入數據地圖進行統一管理。在數據發現頁面通過元數據采集器將其他數據源中的元數據采集至DataWorks數據地圖,采集完成后,您可以在數據地圖搜索并查看各數據源的元數據信息。除MaxCompute以外,目前數據地圖支持的其他數據源類型有:E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH HBase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Tablestore(OTS)、PostgreSQL、MySQL、SQL Server、Oracle、ClickHouse、StarRocks(持續擴充中),元數據采集配置詳情請參見元數據采集。
說明如果需要在數據開發中表管理進行可視化建表操作,請先在數據地圖進行元數據采集,可視化建表操作請參見表管理。
網絡連通
如果您需要將數據源中的元數據導入數據地圖進行統一的元數據管理,需要先確保數據地圖元數據采集器能正常訪問您的數據庫。如果您需要進行元數據采集的數據庫已開啟白名單訪問控制,請在數據庫白名單列表中,添加您使用的DataWorks所在地域對應的IP網段。需要配置的白名單請參見元數據采集的數據源有白名單訪問控制時需要配置的白名單。
數據總覽
您可以在數據總覽頁面查看當前地域(Region)下的MaxCompute總項目數,總表數、存儲量、總API數、存儲趨勢圖、項目占有率Top、表占有率Top和熱門表。
您還可以查看元數據采集完成后的AnalyticDB for MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、OTS等的數據庫總數,總表數、總API數等信息。
詳情請參見數據總覽。
查找表、代碼和API
查看表詳情和API詳情
您可以單擊目標表名稱跳轉至表詳情頁面,查看表的基礎信息、產出信息和血緣信息等信息。請參見查看表詳情。
說明血緣信息頁面中您可以查看引擎節點內部血緣關系,具體引擎節點血緣支持情況以產品實際頁面展示為準。此外,MaxCompute還支持基于離線同步的完整鏈路血緣查看。您可以查看MaxCompute表的上下游血緣,通過展開表血緣層級查看MaxCompute表的原始數據來源相關信息和MaxCompute表數據最終流向的數據庫相關信息。
表詳情頁面右上角支持通過表名,表描述,字段名,字段描述及項目名等關鍵字進行搜索。詳情請參見查看表詳情。
您可以單擊目標代碼文件查看代碼詳情。
您可以單擊目標API名稱跳轉至API詳情頁面,查看API的基礎信息、技術信息等信息。詳情請參見查看API詳情。
API詳情頁面右上角支持通過API ID、API Path、API名稱、API描述等關鍵字搜索API。
表的有序組織和管理
類目管理功能方便您通過類別有效地組織和管理表,表的類目管理配置完成后,您可以在查找表時,通過類目來過濾目標表。詳情請參見配置管理,同時支持您管理表。
阿里云主賬號及擁有AliyunDataWorksfullaccess權限的RAM用戶可以編輯類目樹。
類目管理
表管理
對于MaxCompute數據類型,數據地圖支持批量修改中文名,生命周期、支持批量刪除開發表或者生產表,批量轉交表責任人。詳情請參見我的數據。
個人收藏
表權限管控
表操作權限申請
標準模式工作空間下,RAM用戶默認無法通過SQL命令直接操作生產表,如果您需要操作生產表或跨賬號查詢生產表,需要進行權限申請,您可以在表詳情頁中的申請權限入口申請表的相關權限。當您在表詳情頁單擊申請權限時,將跳轉到安全中心進行具體的權限申請操作,詳情請參見申請表權限。
說明如果RAM用戶無某張表的查詢權限,默認情況下將無法通過數據地圖表詳情頁中的數據預覽功能來查看該表數據。
MaxCompute表數據預覽權限控制
您可以在配置管理 > 項目管理配置中對具體工作空間的MaxCompute開發表或生產表開啟預覽權限,開啟后,該項目下的表無需申請訪問權限,即可被工作空間中所有成員預覽。詳情請參見項目管理配置。
說明此操作可能存在敏感數據泄露的風險,請謹慎評估后再開啟。
所在工作空間的項目owner或者工作空間管理員可進行該操作。
此權限僅控制數據地圖中表詳情頁面的數據預覽功能。
隱藏表
表隱藏后,搜索表時將無法搜索到該表。支持對所有人隱藏或者僅對表所在工作空間下用戶可見。詳情請參見我的數據。
單表隱藏
您可以選擇表狀態為
隱藏:所有人都不可以通過搜索來訪問到該表。
僅項目:僅對表所在工作空間下用戶可見(可搜索到)。
顯示:所有人都可以通過搜索訪問到該表。
說明表owner和工作空間管理員默認不受上述權限控制。
項目級別批量隱藏
在配置管理 > 項目管理配置中,選擇項目空間,配置項目下所有表的隱藏屬性。
其他
工作空間管理
您可以進入搜索頁面,并單擊工作空間類型,查看當前阿里云主賬號下的所有工作空間詳情列表,單擊目標工作空間名稱可以查看工作空間的詳細信息。詳情請參見工作空間列表。
刷新表元數據
如果表存在但是搜索不到或者表更新了但是數據地圖顯示還未更新,您需要刷新表元數據。
在搜索結果頁面單擊刷新表元數據。
進入數據地圖的
頁面:說明手動刷新表元數據僅對MaxCompute和E-MapReduce有效。
如果數據類型為MaxCompute,則輸入格式為
odps.項目名稱.表名稱
的表GUID后,單擊刷新。如果數據類型為E-MapReduce,則配置集群ID、數據庫和表名后,單擊刷新。
完成上述操作后您可以在數據地圖的全部數據中再次搜索關鍵詞查詢對應的表。