工作空間是Serverless Spark的基本單元,用于管理任務、成員、角色和權限。所有的任務開發都需要在具體的工作空間內進行。因此,在開始任務開發之前,您需要先創建工作空間。本文將為您介紹如何在EMR Serverless Spark頁面快速創建工作空間。
前提條件
已注冊阿里云賬號并完成實名認證。具體操作請參見賬號注冊(PC端)。
已準備創建工作空間所需的賬號并授權:
已開通DLF數據湖構建,詳情請參見快速入門。支持開通DLF的地域請參見已開通的地域和訪問域名。
注意事項
代碼的運行環境由所屬用戶負責管理和配置。
操作步驟
進入EMR Serverless Spark頁面。
在左側導航欄,選擇
。在頂部菜單欄處,根據實際情況選擇地域。
重要創建工作空間后,不能更改地域。
單擊創建工作空間。
在E-MapReduce Serverless Spark頁面,完成相關配置。
參數
說明
示例
地域
建議選擇與您數據所在地相同的地域。
華東1(杭州)
付費類型
目前僅支持按量付費。
按量付費
工作空間名稱
以字母開頭,僅支持英文字母、數字和短劃線(-),長度限制為1~60個字符。
說明同一個阿里云賬號下的工作空間名稱是唯一的,請勿填寫已有的名稱,否則會提示您重新填寫。
emr-serverless-spark
瞬時配額上限
工作空間同時處理任務的最大并發CU數量。
1000
工作空間基礎路徑
用于存儲任務日志、運行事件、資源等數據文件。
建議選擇一個開通了OSS-HDFS服務的Bucket,它提供了原生HDFS接口兼容性。如果您的應用場景不涉及HDFS,則可以直接選擇一個OSS Bucket。
emr-oss-hdfs
DLF作為元數據服務
用于存儲和管理您的元數據。
開通DLF后,系統會為您選擇默認的DLF數據目錄,默認為UID。如果針對不同集群您期望使用不同的數據目錄,則可以按照以下方式新建目錄。
單擊創建數據目錄,在彈出的對話框中輸入目錄ID,然后單擊確定。詳情請參見數據目錄。
在下拉列表中,選擇您新建的數據目錄。
emr-dlf
高級設置
打開該開關后,您需要配置以下信息:
執行角色:指定EMR Serverless Spark運行任務所采用的角色名,角色名稱為AliyunEMRSparkJobRunDefaultRole。
EMR Spark使用該角色來訪問您在其他云產品中的資源,包括OSS和DLF等產品的資源。
AliyunEMRSparkJobRunDefaultRole
當所有的信息確認正確后,閱讀并選中服務協議。
單擊創建工作空間。
相關文檔
創建工作空間后,您可以開始進行相關任務的開發,例如SparkSQL任務,詳情請參見SQL開發快速入門。