管理工作空間
工作空間是EMR Serverless Spark管理任務(wù)、成員,分配角色和權(quán)限的基本單元。您所有的配置、任務(wù)、工作流均在具體的項(xiàng)目空間下進(jìn)行。工作空間管理員可以加入成員至工作空間,并賦予工作空間管理員、數(shù)據(jù)分析、數(shù)據(jù)開發(fā)或訪客角色,以實(shí)現(xiàn)多角色協(xié)同工作。本文為您介紹工作空間的基本操作。
前提條件
已注冊(cè)阿里云賬號(hào)并完成實(shí)名認(rèn)證。具體操作請(qǐng)參見賬號(hào)注冊(cè)(PC端)。
已準(zhǔn)備創(chuàng)建工作空間所需的賬號(hào)并授權(quán):
使用阿里云主賬號(hào)創(chuàng)建,授權(quán)詳情請(qǐng)參見阿里云賬號(hào)角色授權(quán)。
如果使用RAM用戶(子賬號(hào))或RAM角色創(chuàng)建,請(qǐng)確保已授權(quán)該RAM用戶或RAM角色AliyunEMRServerlessSparkFullAccess、AliyunOSSFullAccess、AliyunDLFFullAccess權(quán)限策略。然后,在EMR Serverless Spark的訪問控制頁面添加該RAM用戶或RAM角色,并授予管理員角色,詳情請(qǐng)參見RAM用戶授權(quán)和管理用戶和角色。
已開通DLF數(shù)據(jù)湖構(gòu)建,詳情請(qǐng)參見快速入門。支持開通DLF的地域請(qǐng)參見已開通的地域和訪問域名。
已開通OSS服務(wù)并創(chuàng)建了存儲(chǔ)空間,詳情請(qǐng)參見開通OSS服務(wù)和創(chuàng)建存儲(chǔ)空間。
創(chuàng)建工作空間
進(jìn)入EMR Serverless Spark工作空間頁面。
在左側(cè)導(dǎo)航欄,選擇
。
在Spark頁面,單擊創(chuàng)建工作空間。
在創(chuàng)建工作空間對(duì)話框中,完成相關(guān)配置。
參數(shù)
說明
地域
地域指數(shù)據(jù)中心所在的地理區(qū)域,建議選擇與您數(shù)據(jù)所在地相同的地域,創(chuàng)建完成后不支持更改地域。
付費(fèi)類型
目前僅支持按量付費(fèi)模式。
工作空間名稱
以字母開頭,僅支持英文字母、數(shù)字和短劃線(-),長度限制為1~60個(gè)字符。
說明同一個(gè)阿里云賬號(hào)下的工作空間名稱是唯一的,請(qǐng)勿填寫已有的名稱,否則會(huì)提示您重新填寫。
工作空間創(chuàng)建后,不可修改工作空間名稱。
瞬時(shí)配額上限
工作空間同時(shí)處理任務(wù)的最大并發(fā)CU數(shù)量。
工作空間基礎(chǔ)路徑
用于存儲(chǔ)作業(yè)日志、運(yùn)行事件、資源等數(shù)據(jù)文件。為了在運(yùn)維階段近實(shí)時(shí)地查看增量日志,建議您選擇一個(gè)開通了OSS-HDFS服務(wù)的Bucket。
DLF 作為元數(shù)據(jù)服務(wù)
用于存儲(chǔ)和管理元數(shù)據(jù)。請(qǐng)選擇工作空間關(guān)聯(lián)的元數(shù)據(jù)目錄ID,您也可以通過以下步驟新建一個(gè)數(shù)據(jù)目錄。
單擊創(chuàng)建數(shù)據(jù)目錄,在彈出的對(duì)話框中輸入目錄ID,然后單擊確定。
在下拉列表中,選擇您新建的數(shù)據(jù)目錄。
說明創(chuàng)建工作空間后,您還可以將已有的DLF數(shù)據(jù)目錄添加到工作空間中,更多介紹請(qǐng)參見數(shù)據(jù)目錄。
高級(jí)設(shè)置
打開該開關(guān)后,您需要配置以下信息:
執(zhí)行角色:指定EMR Serverless Spark運(yùn)行任務(wù)所采用的角色名,角色名稱為AliyunEMRSparkJobRunDefaultRole。
當(dāng)所有的信息確認(rèn)正確后,閱讀并選中服務(wù)協(xié)議。
單擊創(chuàng)建工作空間。
刪除工作空間
刪除工作空間前,請(qǐng)確認(rèn)該工作空間下不存在運(yùn)行中的任務(wù)。如果該工作空間中存在還在運(yùn)行的任務(wù),則會(huì)報(bào)錯(cuò),提示您停止運(yùn)行的任務(wù)后再刪除工作空間。
工作空間刪除后,您工作空間下的資源將被釋放,包括任務(wù)和數(shù)據(jù),這些資源將無法恢復(fù)。因此,請(qǐng)您在刪除之前務(wù)必進(jìn)行任務(wù)腳本的備份,以免數(shù)據(jù)丟失。
工作空間所關(guān)聯(lián)的OSS/OSS-HDFS上的日志等數(shù)據(jù),不會(huì)隨著工作空間的銷毀而刪除。
在Spark頁面,單擊目標(biāo)工作空間操作列的刪除。
在彈出的對(duì)話框中,輸入工作空間名稱,確認(rèn)執(zhí)行該操作,單擊確定。
相關(guān)文檔
如果您需要將更多的RAM用戶添加至工作空間,并為其分配不同角色以便協(xié)同開發(fā),您可以通過訪問控制功能將RAM用戶引入工作空間,并為其指派相應(yīng)的角色權(quán)限,詳情請(qǐng)參見管理用戶和角色。
如果您有資源隔離和管理的需求,可以通過添加隊(duì)列的方式實(shí)現(xiàn),詳情請(qǐng)參見管理資源隊(duì)列。