本文為您介紹如何創建數據工作站項目空間、添加資源并配置代碼存儲空間。
步驟一:創建并進入項目空間
- 登錄數據管理DMS 5.0。
單擊控制臺左上角的圖標,選擇
。說明若您使用的是非極簡模式的控制臺,請在頂部菜單欄中,選擇
。單擊新建項目空間,在對話框中填入項目空間名、地域等信息,單擊確認。
說明項目空間名稱由英文字母、數字或下劃線(_)組成。
目前項目空間地域支持選擇華東1(杭州)、華北2(北京)、華東2(上海)。
單擊操作列的進入空間,進入目標項目空間。
說明默認只有項目創建人有權進入該項目空間。如果需要進行協作開發,請項目創建人在該項目中為目標用戶添加開發權限。
步驟二:添加項目成員
如果項目空間有多個用戶參與,則需要給用戶授予不同的項目空間角色。
待分配角色的用戶要求已錄入DMS。具體操作,請參見用戶管理。
步驟三:配置代碼存儲空間
進入項目空間后,在項目設置頁簽內,單擊存儲配置。
在存儲配置頁面,單擊代碼空間右側的圖標。
在選擇OSS目錄對話框中,選擇目標Bucket。
選擇的Bucket必須與當前項目空間所在地域一致,且Bucket的存儲類型必須為標準存儲。
說明若當前Region下沒有可用的Bucket,請前往OSS控制臺創建。具體操作,請參見創建存儲空間。
單擊確定。
步驟四:添加資源
添加并啟動資源后,您才可以使用Notebook進行數據查詢和分析。
進入項目空間后,在項目設置頁簽內,單擊資源配置。
單擊添加資源,配置資源的相關信息。
參數
說明
資源名稱
填寫易于理解和使用的名稱。
資源簡介
填寫該資源的使用用途。
鏡像
Spark 3.5+Python 3.9
Spark 3.3+Python 3.9
Python 3.9
ADB實例
選擇目標AnalyticDB for MySQL實例。
說明如果鏡像選擇Spark 3.3或3.5,您還需要選擇一個AnalyticDB for MySQL集群。
如果搜索不到目標集群,請檢查集群是否錄入至DMS。錄入操作,請參見云數據庫錄入。
ADB資源組
選擇目標資源組。
Executor規格
Spark Executor的資源規格。不同型號的取值對應不同的規格,詳情請參見Spark應用配置參數說明的型號列。
Executor數量
Spark配置下的Executor數量。
說明Notebook公測期間,每一個Notebook實例中添加的資源的Executor總數最多為6個。如果您需要解除Executor數量限制,請聯系DMS技術支持。
Driver規格
Spark Driver的資源規格。
General_XSmall_v1(2核8 GB)
General_Small_v1(4核16 GB)
General_Mediun_v1(8核32 GB)
General_Large_v1(16核64 GB)
Notebook規格
鏡像選擇Python 3.9時,會出現該參數。
General_XSmall_v1(2核8 GB)
General_Small_v1(4核16 GB)
General_Mediun_v1(8核32 GB)
General_Large_v1(16核64 GB)
VPC ID
選擇可用的VPC。
Zone ID
選擇VPC的可用區。
VSwitch ID
選擇可用VPC下的交換機。
安全組ID
選擇可用的安全組。
單擊保存。
啟動資源。
單擊目標資源右側操作列的啟動,再單擊確認。
說明啟動資源預計需要1分鐘,啟動成功后,資源狀態會變為運行中。
步驟五:配置用戶存儲空間
如果您需要在使用數據工作站功能時,讀取除DMS Notebook以外的數據。DMS支持您配置多個OSS Bucket路徑,以讀取Bucket中的數據。
進入項目空間后,在設置頁簽內,單擊存儲管理。
在用戶存儲空間區域,配置OSS路徑。
說明掛載路徑必須以/mnt/開頭。
單擊保存。
步驟六:查看數據
進入項目空間后,在數據頁簽內。
您可以在SQL Console中進行如下操作:
查詢數據
您可使用Copilot生成查詢SQL或自行輸入SQL語句。SQL語法應與邏輯數倉的SQL語法保持一致,請參見邏輯數倉SQL語法介紹。
說明使用統一的MySQL語法進行查詢,無需關注查詢的表的數據庫來源(比如AnalyticDB MySQL版、RDS MySQL),DMS會自動為您進行轉換、優化。
在使用Copilot生成SQL的過程中,Copilot能夠根據您提供的反饋和庫表列元數據信息自動獲取業務知識。如果所獲取的知識不準確,您可以進行編輯以提升其參考價值,隨后Copilot在回答類似問題時將會參考該知識以提高準確性。更多知識的信息,請參見使用Copilot生成SQL。
如果您對Copilot生成的SQL滿意并符合您的業務需求,可以為其點贊。這一操作將成為后續生成SQL的參考。
查看表使用說明
系統自動根據庫表列元數據生成表描述。您可展開數據庫,再雙擊表名稱,在使用說明頁簽下查看或編輯表描述。
下一步操作
管理Notebook資源
針對已添加的資源,您可在資源配置頁面進行如下操作。如何進入資源配置頁面,請參見步驟四:添加資源。
手動停止資源運行
編輯資源信息
說明當資源停止運行時,才可以編輯資源信息。
手動啟動已停止運行的資源
自動釋放Notebook資源
當Notebook中的所有Kernel完全退出時,Kernel會進入空閑狀態,并且當空閑時間≥設置的空閑時間時,Notebook資源會被自動釋放。
查看Notebook資源中Spark的歷史執行任務
在資源配置頁面,單擊目標資源右側的SparkUI,進入任務列表頁面。
單擊目標App ID,查看Spark執行詳情。