Data Studio數據目錄全面支持OpenLake湖倉一體架構,實現統一元數據管理,建表方式多樣化,輔助智能建表,提升數據研發效率,滿足不同類型用戶多樣化元數據創建及管理的需求。
前提條件
已創建工作空間,并選擇參加數據開發(Data Studio)(新版)公測。
數據目錄管理
添加數據目錄
默認添加
DataWorks在創建工作空間,并綁定計算資源(MaxCompute、Hologres、StarRocks)時,會同步創建對應數據源并綁定其數據目錄。工作空間綁定的數據目錄會同步展示在數據目錄中,無需您手動綁定。具體詳情請參見創建工作空間并綁定計算資源。
主動添加
Data Studio的數據目錄支持您按需綁定個人有權限的數據目錄。
進入DataWorks工作空間列表頁,在頂部切換至目標地域,找到已創建的工作空間,單擊操作列的 ,進入Data Studio。
在左側導航欄單擊,進入數據目錄。
按需綁定數據目錄。
MaxCompute
如果您的項目空間未綁定計算資源,則首次打開MaxCompute數據目錄時,該目錄下為空,請單擊或添加項目添加MaxCompute數據目錄。
您可以查找并添加您需要添加的MaxCompute Project作為您的數據目錄。
MaxCompute - 項目
該頁簽下包含與DataWorks相同地域下,您具備管理權限的MaxCompute項目,您可以單擊操作欄中的添加,即可將該項目添加到數據目錄。
該頁簽下還包含MaxCompute內置項目SYSTEM_CATALOG和BIGDATA_PUBLIC_DATASET。
SYSTEM_CATALOG:該項目內置
INFORMATION_SCHEMA
,訪問該內置Schema提供的只讀視圖,可以查詢當前用戶所有MaxCompute項目的元數據信息以及使用歷史信息,詳情請參見租戶級別Information Schema。BIGDATA_PUBLIC_DATASET:該項目存儲著MaxCompute開放的公開數據集數據。MaxCompute的公開數據集的詳細信息,請參見公開數據集概述。
DataWorks 數據源
該頁簽下包含DataWorks數據源綁定的MaxCompute Project,您可以單擊操作列的添加為數據目錄,將該數據源的數據目錄綁定至工作空間。
Hologres
如果您在創建工作空間后,已通過工作空間詳情頁或管理中心綁定了數據目錄,則此時在數據開發數據目錄中即可查看并管理數據目錄。更多詳情,請參見創建工作空間并綁定計算資源。
如果您的項目空間未綁定計算資源,則首次打開Hologres數據目錄時,該目錄下為空,請單擊或添加實例添加Hologres數據目錄。
您可以按需添加Hologres - 實例或已在DataWorks創建的Hologres數據源。
Hologres - 實例
該頁簽下包含與DataWorks項目空間相同地域下,您具備管理權限的Hologres實例,您可以單擊操作列添加,將該實例的數據目錄綁定至項目空間。
DataWorks 數據源
該頁簽下包含DataWorks數據源綁定的MaxCompute項目,您可以單擊操作列的添加為數據目錄,將該數據源的數據目錄綁定至工作空間。
DLF Catalog
如果您在創建工作空間后,已通過工作空間詳情頁或管理中心綁定了數據目錄,則此時在數據開發數據目錄中即可查看并管理數據目錄。更多詳情,請參見創建工作空間并綁定計算資源。
如果您的項目空間未綁定計算資源,則首次打開DLF Catalog數據目錄時,該目錄下為空,請單擊或添加Catalog添加DLF Catalog數據目錄。
DLF Catalog列表頁包含與DataWorks項目空間相同地域下,您具備管理權限的DLF Catalog,您可以單擊操作列添加,將其綁定至項目空間。
StarRocks
如果您在創建工作空間后,已通過工作空間詳情頁或管理中心綁定了數據目錄,則此時在數據開發數據目錄中即可查看并管理數據目錄。更多詳情,請參見創建工作空間并綁定計算資源。
如果您的項目空間未綁定計算資源,則首次打開StarRocks數據目錄時,該目錄下為空,請單擊或添加實例添加StarRocks數據目錄。
您可以添加已在DataWorks創建的StarRocks數據源。
DataWorks 數據源頁簽下包含已創建的數據源(通過綁定計算資源自動創建、管理中心數據源列表手動創建),您可以單擊操作列的添加為數據目錄,將該數據源的數據目錄綁定至工作空間。
AI Catalog
該數據目錄下包含數據集和模型
數據集:包括公開數據集和自定義數據集。
模型:包括AI項目空間中的模型數據。
說明您可以前往人工智能平臺PAI控制臺,在左側導航欄單擊工作空間列表,進入DataWorks項目空間同名的PAI項目空間,然后在 中查看或創建自定義數據集,在 中查看或注冊新模型。
移出數據目錄
默認添加的數據目錄,不支持在數據開發(Data Studio)的數據目錄中進行解綁,需前往
頁面或工作空間詳情頁的計算資源頁簽解綁。主動添加的數據目錄,可在數據開發(Data Studio)的數據目錄中,單擊操作列的解綁數據目錄。
創建數據對象
Data Studio數據目錄,支持通過多種方式建表,如可視化建表、DDL建表及Copilot智能建表。此外,數據目錄還支持創建外表、視圖、資源及函數等數據對象。具體操作說明如下:
本文以MaxCompute表為例,其他類型的數據目錄以及視圖、資源、函數操作方法請根據界面提示操作。
資源與函數需要在左側一級目錄中單擊資源管理(),創建資源或函數。
創建表
打開已添加的MaxCompute項目,您可以通過多種方式進入新建表頁面。
在數據目錄中單擊表,進入表清單頁,該頁面展示當前Schema下所有內表,然后單擊新建表。
在數據目錄中右鍵表選擇
。在數據目錄中單擊表右側的。
在新建表頁面您可以通過如下多種方式按需創建表。
①:可視化建表:進入表新建頁面,頁面左側支持您手動錄入表名、生命周期、表字段、表分區、表類型等信息,頁面右側DDL區域將會自動解析生成DDL語句。
②:DDL建表:進入表新建頁面,頁面右側DDL區域支持您直接編寫建表DDL代碼,頁面左側可視化區域內容也會自動映射。
③:Copilot建表:對于已經參加Copilot公測的客戶,在表新建頁面頂部操作區域,可以單擊Copilot建表,輸入建表需求,如“創建商品維度表”,由大模型生成模型表名、表描述、字段名、字段描述等內容,點擊接受即可。此外,您還可以使用字段信息字段列表上面的生成字段,生成字段描述來進行字段生成。
配置完成后,單擊新建表頁面頂部的發布,在MaxCompute項目中創建該表。
查看并修改表
在數據目錄中單擊表,然后在表列表頁面選擇需要查看的表。
您也可以直接在數據目錄中單擊具體表名。
查看表的明細信息(表字段、分區字段)、基本信息(所屬項目、負責人、生命周期等)以及DDL語句。
您可以單擊右上角編輯按鈕,修改表的相關配置(表名、生命周期、字段信息等)。
刪除表
在數據目錄中右鍵待刪除的表,然后單擊刪除,即可刪除此表。
附錄:從管理中心、工作空間詳情頁綁定數據目錄
管理中心、工作空間詳情頁綁定數據目錄基于數據源,您需要創建相應數據源后,才可以綁定其數據目錄。
創建數據源。
進入DataWorks管理中心頁,頂部切換至目標地域,然后選擇已創建的工作空間,單擊進入管理中心。
在左側導航欄單擊
。單擊新建數據源。目前支持數據目錄的數據源有
Data Lake Formation 2.0(DLF 2.0)
、MaxCompute
、Hologres
、StarRocks
,根據頁面參數提示,完成數據源創建。
您可以在管理中心或工作空間詳情頁綁定數據目錄。
管理中心
在左側導航欄單擊數據目錄,然后單擊綁定數據目錄。
目錄類型按需選擇,然后選擇已創建的數據源。
工作空間詳情頁
進入DataWorks工作空間列表頁,在頂部切換至目標地域,找到已創建的工作空間,單擊操作列的詳情,進入工作空間詳情頁。
切換至數據目錄頁簽,然后單擊綁定數據目錄。
目錄類型按需選擇,然后選擇已創建的數據源。