數(shù)據(jù)地圖
數(shù)據(jù)地圖是在元數(shù)據(jù)基礎(chǔ)上提供的企業(yè)數(shù)據(jù)目錄管理模塊,涵蓋全局?jǐn)?shù)據(jù)檢索、元數(shù)據(jù)詳情查看、數(shù)據(jù)預(yù)覽、數(shù)據(jù)血緣和數(shù)據(jù)類目管理等功能。數(shù)據(jù)地圖可以幫助您更好地查找、理解和使用數(shù)據(jù)。
元數(shù)據(jù)采集與接入
MaxCompute數(shù)據(jù)
如果您使用了MaxCompute引擎,您可以直接在數(shù)據(jù)地圖進(jìn)行MaxCompute表元數(shù)據(jù)管理的相關(guān)操作。
其他類型元數(shù)據(jù)
除MaxCompute外,您還可以通過元數(shù)據(jù)采集功能將不同數(shù)據(jù)源中的元數(shù)據(jù)導(dǎo)入數(shù)據(jù)地圖進(jìn)行統(tǒng)一管理。在數(shù)據(jù)發(fā)現(xiàn)頁(yè)面通過元數(shù)據(jù)采集器將其他數(shù)據(jù)源中的元數(shù)據(jù)采集至DataWorks數(shù)據(jù)地圖,采集完成后,您可以在數(shù)據(jù)地圖搜索并查看各數(shù)據(jù)源的元數(shù)據(jù)信息。除MaxCompute以外,目前數(shù)據(jù)地圖支持的其他數(shù)據(jù)源類型有:E-MapReduce、Hologres、CDH Hive、CDH Kudu、CDH HBase、AnalyticDB for MySQL 2.0、AnalyticDB for MySQL 3.0、AnalyticDB for PostgreSQL、Tablestore(OTS)、PostgreSQL、MySQL、SQL Server、Oracle、ClickHouse、StarRocks(持續(xù)擴(kuò)充中),元數(shù)據(jù)采集配置詳情請(qǐng)參見元數(shù)據(jù)采集。
說明如果需要在數(shù)據(jù)開發(fā)中表管理進(jìn)行可視化建表操作,請(qǐng)先在數(shù)據(jù)地圖進(jìn)行元數(shù)據(jù)采集,可視化建表操作請(qǐng)參見表管理。
網(wǎng)絡(luò)連通
如果您需要將數(shù)據(jù)源中的元數(shù)據(jù)導(dǎo)入數(shù)據(jù)地圖進(jìn)行統(tǒng)一的元數(shù)據(jù)管理,需要先確保數(shù)據(jù)地圖元數(shù)據(jù)采集器能正常訪問您的數(shù)據(jù)庫(kù)。如果您需要進(jìn)行元數(shù)據(jù)采集的數(shù)據(jù)庫(kù)已開啟白名單訪問控制,請(qǐng)?jiān)跀?shù)據(jù)庫(kù)白名單列表中,添加您使用的DataWorks所在地域?qū)?yīng)的IP網(wǎng)段。需要配置的白名單請(qǐng)參見元數(shù)據(jù)采集的數(shù)據(jù)源有白名單訪問控制時(shí)需要配置的白名單。
數(shù)據(jù)總覽
您可以在數(shù)據(jù)總覽頁(yè)面查看當(dāng)前地域(Region)下的MaxCompute總項(xiàng)目數(shù),總表數(shù)、存儲(chǔ)量、總API數(shù)、存儲(chǔ)趨勢(shì)圖、項(xiàng)目占有率Top、表占有率Top和熱門表。
您還可以查看元數(shù)據(jù)采集完成后的AnalyticDB for MySQL 3.0、MySQL、E-MapReduce、Hologres、AnalyticDB for PostgreSQL、OTS等的數(shù)據(jù)庫(kù)總數(shù),總表數(shù)、總API數(shù)等信息。
詳情請(qǐng)參見數(shù)據(jù)總覽。
查找表、代碼和API
在首頁(yè)查找
您還可以通過首頁(yè)中的API類目下展示的近期瀏覽的API、熱門瀏覽的API、熱門調(diào)用的API等列表快速獲取相應(yīng)的API,或者在搜索框中輸入關(guān)鍵字搜索目標(biāo)API,詳情請(qǐng)參見通用數(shù)據(jù)查詢與管理。
您可以通過首頁(yè)中的表類目下展示的近期瀏覽的表、近期讀取的表、熱門瀏覽和熱門讀取等列表快速獲取相應(yīng)的表。或者在搜索框中輸入關(guān)鍵字搜索目標(biāo)表,詳情請(qǐng)參見通用數(shù)據(jù)查詢與管理。
您可以通過首頁(yè)中的代碼類目下展示的近期搜索的代碼,或者在搜索框中輸入關(guān)鍵字搜索目標(biāo)代碼,詳情請(qǐng)參見通用數(shù)據(jù)查詢與管理。
在搜索頁(yè)面查找
您可以在搜索界面中的API類目下對(duì)當(dāng)前租戶下所有空間中的API,通過輸入API名稱、API描述等關(guān)鍵字進(jìn)行搜索,同時(shí)支持通過API類型、工作空間、負(fù)責(zé)人對(duì)搜索結(jié)果進(jìn)行過濾,以找到符合條件的API。詳情請(qǐng)參見數(shù)據(jù)服務(wù)API。
您可以在搜索界面中的表類目下對(duì)各數(shù)據(jù)源中元數(shù)據(jù)采集后的表通過表名、表描述、字段名及字段描述進(jìn)行搜索,不同數(shù)據(jù)源支持按照不同篩選條件進(jìn)行過濾,例如MaxCompute支持根據(jù)項(xiàng)目、負(fù)責(zé)人、環(huán)境(生產(chǎn)或開發(fā)環(huán)境)、類目進(jìn)行過濾。更多信息,請(qǐng)參見查找表。
您可以在搜索界面中的代碼類目下選擇產(chǎn)品模塊、篩選條件,然后輸入關(guān)鍵字進(jìn)行搜索,詳情請(qǐng)參見查找代碼。
查看表詳情和API詳情
您可以單擊目標(biāo)表名稱跳轉(zhuǎn)至表詳情頁(yè)面,查看表的基礎(chǔ)信息、產(chǎn)出信息和血緣信息等信息。請(qǐng)參見查看表詳情。
說明血緣信息頁(yè)面中您可以查看引擎節(jié)點(diǎn)內(nèi)部血緣關(guān)系,具體引擎節(jié)點(diǎn)血緣支持情況以產(chǎn)品實(shí)際頁(yè)面展示為準(zhǔn)。此外,MaxCompute還支持基于離線同步的完整鏈路血緣查看。您可以查看MaxCompute表的上下游血緣,通過展開表血緣層級(jí)查看MaxCompute表的原始數(shù)據(jù)來源相關(guān)信息和MaxCompute表數(shù)據(jù)最終流向的數(shù)據(jù)庫(kù)相關(guān)信息。
表詳情頁(yè)面右上角支持通過表名,表描述,字段名,字段描述及項(xiàng)目名等關(guān)鍵字進(jìn)行搜索。詳情請(qǐng)參見查看表詳情。
您可以單擊目標(biāo)代碼文件查看代碼詳情。
您可以單擊目標(biāo)API名稱跳轉(zhuǎn)至API詳情頁(yè)面,查看API的基礎(chǔ)信息、技術(shù)信息等信息。詳情請(qǐng)參見查看API詳情。
API詳情頁(yè)面右上角支持通過API ID、API Path、API名稱、API描述等關(guān)鍵字搜索API。
表的有序組織和管理
類目管理功能方便您通過類別有效地組織和管理表,表的類目管理配置完成后,您可以在查找表時(shí),通過類目來過濾目標(biāo)表。詳情請(qǐng)參見配置管理,同時(shí)支持您管理表。
阿里云主賬號(hào)及擁有AliyunDataWorksfullaccess權(quán)限的RAM用戶可以編輯類目樹。
類目管理
您可以通過如下方法將表添加至類目中:
通過
批量將表添加到指定類目。類目導(dǎo)航配置完成后,您可以選中最后一級(jí)類目,并通過界面的快速添加入口,快速將某個(gè)項(xiàng)目下的某些表批量添加至該類目中。詳情請(qǐng)參見配置管理。
通過我的數(shù)據(jù)頁(yè)面批量將表添加到指定類目。
類目配置完成后,您可以在我的數(shù)據(jù)(我擁有的數(shù)據(jù)、我管理的數(shù)據(jù))頁(yè)面批量將表添加到指定類目。詳情請(qǐng)參見我的數(shù)據(jù)。
表管理
對(duì)于MaxCompute數(shù)據(jù)類型,數(shù)據(jù)地圖支持批量修改中文名,生命周期、支持批量刪除開發(fā)表或者生產(chǎn)表,批量轉(zhuǎn)交表責(zé)任人。詳情請(qǐng)參見我的數(shù)據(jù)。
個(gè)人收藏
數(shù)據(jù)地圖支持您將個(gè)人關(guān)注的表統(tǒng)一添加到個(gè)人收藏中進(jìn)行管理,方便快速定位和查閱。您可以通過我的數(shù)據(jù)頁(yè)面下的我的收藏分組中查看目前個(gè)人收藏的表。詳情請(qǐng)參見我的數(shù)據(jù)。
表權(quán)限管控
表操作權(quán)限申請(qǐng)
標(biāo)準(zhǔn)模式工作空間下,RAM用戶默認(rèn)無(wú)法通過SQL命令直接操作生產(chǎn)表,如果您需要操作生產(chǎn)表或跨賬號(hào)查詢生產(chǎn)表,需要進(jìn)行權(quán)限申請(qǐng),您可以在表詳情頁(yè)中的申請(qǐng)權(quán)限入口申請(qǐng)表的相關(guān)權(quán)限。當(dāng)您在表詳情頁(yè)單擊申請(qǐng)權(quán)限時(shí),將跳轉(zhuǎn)到安全中心進(jìn)行具體的權(quán)限申請(qǐng)操作,詳情請(qǐng)參見申請(qǐng)表權(quán)限。
說明如果RAM用戶無(wú)某張表的查詢權(quán)限,默認(rèn)情況下將無(wú)法通過數(shù)據(jù)地圖表詳情頁(yè)中的數(shù)據(jù)預(yù)覽功能來查看該表數(shù)據(jù)。
MaxCompute表數(shù)據(jù)預(yù)覽權(quán)限控制
您可以在配置管理 > 項(xiàng)目管理配置中對(duì)具體工作空間的MaxCompute開發(fā)表或生產(chǎn)表開啟預(yù)覽權(quán)限,開啟后,該項(xiàng)目下的表無(wú)需申請(qǐng)?jiān)L問權(quán)限,即可被工作空間中所有成員預(yù)覽。詳情請(qǐng)參見項(xiàng)目管理配置。
說明此操作可能存在敏感數(shù)據(jù)泄露的風(fēng)險(xiǎn),請(qǐng)謹(jǐn)慎評(píng)估后再開啟。
所在工作空間的項(xiàng)目owner或者工作空間管理員可進(jìn)行該操作。
此權(quán)限僅控制數(shù)據(jù)地圖中表詳情頁(yè)面的數(shù)據(jù)預(yù)覽功能。
隱藏表
表隱藏后,搜索表時(shí)將無(wú)法搜索到該表。支持對(duì)所有人隱藏或者僅對(duì)表所在工作空間下用戶可見。詳情請(qǐng)參見我的數(shù)據(jù)。
單表隱藏
您可以選擇表狀態(tài)為
隱藏:所有人都不可以通過搜索來訪問到該表。
僅項(xiàng)目:僅對(duì)表所在工作空間下用戶可見(可搜索到)。
顯示:所有人都可以通過搜索訪問到該表。
說明表owner和工作空間管理員默認(rèn)不受上述權(quán)限控制。
項(xiàng)目級(jí)別批量隱藏
在配置管理 > 項(xiàng)目管理配置中,選擇項(xiàng)目空間,配置項(xiàng)目下所有表的隱藏屬性。
其他
工作空間管理
您可以進(jìn)入搜索頁(yè)面,并單擊工作空間類型,查看當(dāng)前阿里云主賬號(hào)下的所有工作空間詳情列表,單擊目標(biāo)工作空間名稱可以查看工作空間的詳細(xì)信息。詳情請(qǐng)參見工作空間列表。
刷新表元數(shù)據(jù)
如果表存在但是搜索不到或者表更新了但是數(shù)據(jù)地圖顯示還未更新,您需要刷新表元數(shù)據(jù)。
在搜索結(jié)果頁(yè)面單擊刷新表元數(shù)據(jù)。
進(jìn)入數(shù)據(jù)地圖的
頁(yè)面:說明手動(dòng)刷新表元數(shù)據(jù)僅對(duì)MaxCompute和E-MapReduce有效。
如果數(shù)據(jù)類型為MaxCompute,則輸入格式為
odps.項(xiàng)目名稱.表名稱
的表GUID后,單擊刷新。如果數(shù)據(jù)類型為E-MapReduce,則配置集群ID、數(shù)據(jù)庫(kù)和表名后,單擊刷新。
完成上述操作后您可以在數(shù)據(jù)地圖的全部數(shù)據(jù)中再次搜索關(guān)鍵詞查詢對(duì)應(yīng)的表。