項目管理
項目(Project)是MaxCompute的基本組織單元,是進行多用戶隔離和訪問控制的主要邊界。您開通MaxCompute服務后,需要通過項目使用MaxCompute。本文為您介紹如何通過MaxCompute控制臺創(chuàng)建、管理MaxCompute項目。
前提條件
阿里云賬號或RAM用戶已開通MaxCompute服務。
默認只有阿里云賬號可以創(chuàng)建、配置和刪除項目以及變更項目狀態(tài),如果您需要以RAM用戶管理MaxCompute項目,請確認已獲取RAM用戶賬號并已授予AliyunMaxComputeFullAccess系統(tǒng)策略或自定義RAM策略權限。
更多創(chuàng)建或獲取RAM用戶信息操作,請參見準備RAM用戶。
權限說明
阿里云賬號:擁有項目管理所有查看和操作權限。
RAM用戶:
需將RAM用戶添加到項目中,在項目列表中才可見對應項目。
創(chuàng)建、刪除、修改項目的默認Quota和項目凍結、恢復操作需獲取RAM權限,詳情請參見RAM權限。
進入項目配置頁面,進行參數(shù)配置、角色權限、Package管理操作需有項目的相關管理權限,內(nèi)置角色Admin、Super_Administrator,自定義管理權限請參見項目管理類權限一覽表。
注意事項
創(chuàng)建MaxCompute項目時,您需要注意:
使用阿里云賬號創(chuàng)建MaxCompute項目后,您具備項目內(nèi)所有內(nèi)容的操作權限。任何人未經(jīng)授權無法訪問該項目。
對于RAM用戶創(chuàng)建的MaxCompute項目,RAM用戶和歸屬的阿里云賬號同時具備項目內(nèi)所有內(nèi)容的操作權限。其他人未經(jīng)授權無法訪問該項目。
對于RAM用戶創(chuàng)建的MaxCompute項目,為方便管理,MaxCompute會默認賦予RAM用戶該項目的Super_Administrator角色。
創(chuàng)建項目
MaxCompute控制臺創(chuàng)建的Project允許被各客戶端使用,DataWorks提供統(tǒng)一的全鏈路大數(shù)據(jù)開發(fā)治理平臺,緊密的集成MaxCompute,其工作空間標準模式不支持綁定存量MaxCompute項目。推薦您直接通過DataWorks創(chuàng)建MaxCompute項目并進行使用,詳情請參見創(chuàng)建工作空間。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄,選擇工作區(qū) > 項目管理。
在項目管理頁面,單擊新建項目。
在新建項目對話框,根據(jù)界面提示配置參數(shù)。
如下參數(shù)需重點關注。
參數(shù)
說明
項目名稱
字母開頭,包含字母、數(shù)字以及下劃線(_),長度為3~28個字符,名稱全局唯一。
計算資源付費類型
默認計算Quota的計費類型。
默認Quota
用于實現(xiàn)計算資源分配。
不指定計算Quota的情況下,該項目發(fā)起的作業(yè)將消耗默認Quota資源。更多計算資源使用請參見計算資源-Quota使用。
單SQL消費限制
單SQL消費的最高閾值。
單位:掃描量(GB)*復雜度。非必填項,當選擇按量付費計費類型時建議設置,可以避免非預期的單SQL消費過高。同時也建議配置實時消費監(jiān)控告警,多方位監(jiān)控限制消費超出預期,詳情請參見消費監(jiān)控告警。
數(shù)據(jù)類型
MaxCompute數(shù)據(jù)類型包含1.0數(shù)據(jù)類型、2.0數(shù)據(jù)類型和Hive兼容類型。
您需要根據(jù)業(yè)務情況選擇合適的數(shù)據(jù)類型版本,三種數(shù)據(jù)類型版本的區(qū)別請參見數(shù)據(jù)類型版本說明。
是否加密
指定創(chuàng)建的MaxCompute項目是否需要開啟數(shù)據(jù)加密功能。更多數(shù)據(jù)加密信息,請參見存儲加密。
當選擇需要加密時,需要選擇密鑰和對應算法:
密鑰:項目空間使用的密鑰類型,包含默認密鑰(MaxCompute Default Key)和自帶密鑰(BYOK)。默認密鑰(MaxCompute Default Key)是MaxCompute內(nèi)部創(chuàng)建的默認密鑰。
算法:密鑰支持的加密算法,包含AES256、AESCTR和RC4。
單擊確定,完成新建項目。
配置項目
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄,選擇工作區(qū) > 項目管理。
在項目管理頁面,單擊目標項目操作列的管理。
參數(shù)配置。
在項目配置頁面,單擊參數(shù)配置。
在參數(shù)配置頁簽,可配置如下參數(shù)。
參數(shù)分類
參數(shù)
說明
基礎信息
默認計算Quota
可選擇更換項目綁定的默認計算Quota。
存儲量(GB)
查看項目當前存儲大小,此存儲量與計量口徑一致,即按Project采集壓縮后的邏輯存儲大小。
數(shù)據(jù)傳輸服務
可選擇更換項目綁定的數(shù)據(jù)傳輸服務資源組。
Default(數(shù)據(jù)傳輸服務共享資源組):該項目不允許使用數(shù)據(jù)傳輸服務(包年包月)資源組。不管開啟成默認數(shù)據(jù)傳輸服務資源組取值是什么,該項目默認提交的數(shù)據(jù)傳輸服務會自動使用Default資源組。
數(shù)據(jù)傳輸服務(包年包月)資源組:該項目允許使用數(shù)據(jù)傳輸服務(包年包月)資源組。
開啟成默認數(shù)據(jù)傳輸服務資源組的值為開啟時,該項目默認提交的數(shù)據(jù)傳輸服務會自動使用數(shù)據(jù)傳輸服務(包年包月)資源組。
開啟成默認數(shù)據(jù)傳輸服務資源組的值為關閉時,該項目默認提交的數(shù)據(jù)傳輸服務會自動使用Default資源組。
說明如果需要使用數(shù)據(jù)傳輸服務(包年包月)資源組,需要在數(shù)據(jù)傳輸任務中手工指定數(shù)據(jù)傳輸服務(包年包月)資源組。
開啟成默認數(shù)據(jù)傳輸服務資源組
可選擇開啟或者關閉。
開啟:表示該項目默認提交的數(shù)據(jù)傳輸任務會使用數(shù)據(jù)傳輸服務資源組綁定的數(shù)據(jù)傳輸服務資源組。
關閉:表示該項目默認提交的數(shù)據(jù)傳輸任務會使用數(shù)據(jù)傳輸服務共享資源組。
超級管理員
成員
查看或編輯項目的
super_administrator
角色成員,此處設置效果與角色權限頁簽里對super_administrator
角色的成員管理一致,只是此操作支持RAM權限校驗,即RAM用戶擁有UpdateUsersToSuperAdmin
權限后即可在此設置項目的super_administrator
角色成員,詳情請參見RAM權限。基礎屬性
允許分區(qū)表全表掃描
設置項目空間是否允許全表掃描,即為設置
odps.sql.allow.fullscan
屬性。全表掃描會占用大量資源,為提升處理效率,不建議開啟該功能備份數(shù)據(jù)保留天數(shù)
設置項目空間備份數(shù)據(jù)的保留天數(shù),即為設置
odps.timemachine.retention.days
屬性。在此期間,您可以將當前版本恢復至任意一個備份的數(shù)據(jù)版本。取值范圍為[0,30],默認值為1,0代表關閉備份功能。
數(shù)據(jù)類型版本
可選擇項目的數(shù)據(jù)類型版本,包含1.0數(shù)據(jù)類型、2.0數(shù)據(jù)類型和Hive兼容類型。
三種數(shù)據(jù)類型版本的區(qū)別請參見數(shù)據(jù)類型版本說明。
開啟decimal2.0
可選擇項目是否開啟MaxCompute 2.0的Decimal數(shù)據(jù)類型,即為設置
odps.sql.decimal.odps2
屬性。單SQL消費限制
設置單SQL消費的最高閾值,即為設置
odps.sql.metering.value.max
屬性,詳細內(nèi)容請參見消費監(jiān)控告警。單位:掃描量(GB)*復雜度。
存儲加密狀態(tài)
此項目前僅能查看,不可編輯,項目是否加密僅在創(chuàng)建項目時進行定義。
是否需配置生命周期
設置項目空間下的表是否需要配置生命周期,即為設置
odps.table.lifecycle
屬性,有如下取值。optional:創(chuàng)建表時,Lifecycle子句為可選設置,如果不設置表的生命周期,則該表永久有效。
mandatory:Lifecycle子句為必選設置,用戶必須設置表的生命周期。
inherit:創(chuàng)建表時,如果不設置表的生命周期,則該表的生命周期為odps.table.lifecycle.value的值,odps.table.lifecycle.value屬性設置表的生命周期,單位為:天。取值范圍為
1~37231
,默認值為37231。
項目時區(qū)
選擇項目空間的時區(qū),即為設置
odps.sql.timezone
屬性。權限屬性
使用ACL授權
設置是否使用ACL權限控制功能,即為設置
CheckPermissionUsingACL
屬性,默認為使用狀態(tài)。使用Policy授權
設置是否使用Policy權限控制功能,即為設置
CheckPermissionUsingACL
屬性,默認為使用狀態(tài)。允許對象創(chuàng)建者操作對象
設置是否允許對象創(chuàng)建者擁有對象的訪問權限,即為設置
ObjectCreatorHasAccessPermission
屬性。默認為允許狀態(tài)。允許對象創(chuàng)建者授權對象
設置是否允許對象創(chuàng)建者擁有對象的授權權限,即為設置
ObjectCreatorHasGrantPermission
屬性。默認為允許狀態(tài)。啟動Label訪問控制
設置是否使用Label權限控制功能,即設置
LabelSecurity
屬性,默認為不使用狀態(tài)。項目空間數(shù)據(jù)保護
設置是否開啟項目的數(shù)據(jù)保護機制,即設置
ProjectProtection
屬性,禁止或允許數(shù)據(jù)流出項目。如選擇開啟項目空間數(shù)據(jù)保護,還允許設置例外或受信任項目,詳情請參見數(shù)據(jù)保護機制。
開啟Download權限
設置是否開啟Download權限控制功能,即設置
odps.security.enabledownloadprivilege
屬性。IP白名單
公網(wǎng)和云產(chǎn)品互聯(lián)網(wǎng)絡IP
設置公網(wǎng)和云產(chǎn)品互聯(lián)網(wǎng)絡下的IP白名單,僅允許白名單內(nèi)的設備訪問項目空間。
說明如果只配置公網(wǎng)和云產(chǎn)品互聯(lián)網(wǎng)絡IP白名單,則公網(wǎng)和云產(chǎn)品互聯(lián)網(wǎng)絡訪問受配置限制,VPC網(wǎng)絡訪問全部禁止。
VPC網(wǎng)絡IP
設置VPC網(wǎng)絡下的IP白名單,僅允許白名單內(nèi)的設備訪問項目空間。
說明如果只配置VPC網(wǎng)絡IP白名單,則VPC網(wǎng)絡訪問受配置限制,公網(wǎng)和云產(chǎn)品互聯(lián)網(wǎng)絡訪問全部禁止。
MaxCompute外部網(wǎng)絡
可用的MaxCompute外部網(wǎng)絡地址
可添加或刪除需要訪問的目標公網(wǎng)IP或域名、端口。詳情請參見訪問公網(wǎng)方案。
角色管理。
在角色權限頁簽,可對項目進行角色權限管理,包含角色增、刪、改以及將角色授權給用戶。
說明默認只有阿里云賬號有權限對項目進行角色管理,如果您需要以RAM用戶身份進行,需要擁有對應項目的管理權限角色。
在項目配置頁面,單擊角色權限。
在角色權限頁簽,單擊新增項目級別角色。
在新建角色對話框,請根據(jù)界面提示新建角色并授權。
支持創(chuàng)建管理類(Admin)角色和資源操作類(Resource)角色。需重點關注授權方式參數(shù),角色授權支持ACL和Policy兩種方式,各類對象對應的權限說明請參見MaxCompute權限。
ACL:支持對Resource類型角色批量添加多個Project對象進行授權。
說明提交的時候注意不要關閉進度條或頁面,否則授權將會被中斷。
Policy:主要解決ACL授權機制無法解決的Admin類型權限以及Resource類型權限對一些復雜授權場景,如一次操作對一組對象進行授權(所有表或以xxx為開頭的表等,用通配符
*
表達),或進行帶限制條件的授權。授權語法請參見Policy概況。Policy授權示例。
支持所有管理類權限的Admin角色。
{ "Statement":[ { "Action":[ "odps:*" ], "Effect":"Allow", "Resource":[ "acs:odps:*:projects/project_name/authorization/*" ] } ], "Version":"1" }
支持Project內(nèi)所有
tmp
開頭的表查詢權限的Resource角色。{ "Statement":[ { "Effect":"Allow", "Action":[ "odps:Describe", "odps:Select" ], "Resource":[ "acs:odps:*:projects/project_name/tables/tmp_*", "acs:odps:*:projects/project_name/schemas/*/tables/tmp_*" ] } ], "Version":"1" }
單擊確定,完成新建角色與授權。
其他相關操作。
查看角色。
在角色權限的角色列表可以查看項目空間下所有的角色,包括內(nèi)置的Super_Administrator和Admin。單擊目標角色操作列的編輯角色,可以查看指定角色的權限。
說明如果角色是通過Policy方式創(chuàng)建可以正常顯示Policy的內(nèi)容,如果角色是通過ACL方式創(chuàng)建,那么會有可能因為Table、Resource、Function等對象過多無法展示,只能搜索單個對象查看action是否有授權或通過執(zhí)行
describe role <role_name>;
命令查看整個角色權限內(nèi)容。編輯角色權限。
單擊目標角色操作列的編輯角色,ACL授權方式的角色,可以添加或移除某個對象的Action,或?qū)⒛硨ο筇砑踊蛞瞥绻枰瞥膶ο鬀]在角色列表里顯示,可通過命令進行編輯,詳情請參見項目級別角色授權。
說明如果MaxCompute項目與DataWorks工作空間關聯(lián),則DataWorkd會給對應的項目初始化一些角色,這些角色有固定的權限符合DataWorks的業(yè)務邏輯,不建議對這些角色進行更新。具體DataWorks初始化的角色請參見附錄:空間級預設角色與MaxCompute引擎權限的映射關系。
當通過ACL方式已授權角色非常多的對象時,打開編輯角色對話框可能會超時,如果超時,暫時只能通過命令查看和編輯該角色的ACL權限。
查看角色成員。
單擊目標角色操作列的成員管理,在成員管理對話框可以查看角色成員、將角色賦予用戶或?qū)⒂脩魪慕巧镆瞥词栈刭x予用戶的角色)。
刪除角色。
單擊目標角色操作列的刪除,即在MaxCompute項目中刪除已創(chuàng)建的角色。等同于執(zhí)行
drop role <role_name>;
命令,詳情請參見角色規(guī)劃。啟用或禁用租戶級別角色。
在角色權限頁簽,角色級別選擇租戶,單擊目標角色操作列的啟用或禁用。
說明涉及項目空間內(nèi)的對象,需要在項目空間內(nèi)進行啟用才生效。
配置Package。
MaxCompute跨項目訪問資源授權方式推薦使用Package,Package常用于只需分享Tables、Resources、Functions但不需要共享計算資源或無人員管理的數(shù)據(jù)權限管理需求,Package主要分為資源分享方和資源訪問方,一個完整的通過Package進行跨項目授權訪問的步驟流程如下。
資源分享方分享。
在項目配置頁面,單擊新建Package。
在新建Package對話框,填寫package名稱和選擇要分享的Table、Resource、Function。
單擊確定,完成新建Package。
單擊Package操作列的允許項目。
在允許安裝此package的項目對話框,輸入可使用此Package的項目名稱。
單擊確定。
資源訪問方訪問。
在項目配置頁面,單擊安裝Package。
在安裝Package對話框,輸入要訪問的Package名稱。
單擊確定,便可以訪問Package。
(可選)將Package授權給角色,再將角色授權給用戶,詳情請參見角色管理。
項目成員查看。
MaxCompute的項目數(shù)據(jù)權限管控要求將用戶(User)加入項目中進行授權。您可在項目配置頁面,單擊項目成員頁簽,查看項目內(nèi)所有成員的相關權限詳情。
變更項目狀態(tài)
MaxCompute項目支持變更狀態(tài)的操作有如下兩種操作。
凍結:即停止服務,項目將被禁用,無法運行作業(yè),項目內(nèi)數(shù)據(jù)也不能被查詢,但是數(shù)據(jù)將繼續(xù)保留,因此會產(chǎn)生存儲費用。凍結后的項目狀態(tài)為停服。
恢復:將停服狀態(tài)、預刪除狀態(tài)的項目恢復,恢復成功后項目狀態(tài)將為正常。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄,選擇工作區(qū) > 項目管理。
在項目管理頁面的項目列表,單擊目標項目操作列的凍結或恢復。
在確認對話框,單擊確定。
刪除項目
刪除項目時支持立即刪除,即徹底刪除,永久不可恢復,刪除時需要短信驗證,默認驗證碼發(fā)送到阿里云賬號綁定的手機(。 里綁定設置的手機號)
RAM角色刪除項目不支持短信驗證,因此為了避免誤刪除不建議RAM角色擁有刪除項目權限。
項目立即刪除后,清理數(shù)據(jù)需要一定的時間,項目數(shù)量越大需要清理的時間越長。因此,若立即創(chuàng)建同名項目時報錯表示項目已存在,則需要稍后再重試。
需要注意項目刪除將導致如下后果:
立即刪除后,項目內(nèi)所有表(數(shù)據(jù))將立即被刪除,并且永久無法恢復。
所有向該MaxCompute項目提交的任務因項目不存在都將運行失敗。
如果MaxCompute項目已經(jīng)綁定DataWorks工作空間,刪除MaxCompute項目后DataWorks工作空間將無法正常使用并不能恢復,請先訪問DataWorks進行解綁再刪除MaxCompute項目。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄,選擇工作區(qū) > 項目管理。
在項目管理頁面的項目列表,單擊目標項目操作列的刪除。
在刪除項目對話框,選擇刪除類型,單擊確定。
項目標簽管理
MaxCompute支持用戶為項目綁定或解綁標簽,標簽的詳細用法及使用限制請參見標簽概述。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄,選擇工作區(qū) > 項目管理。
創(chuàng)建標簽。
單個項目創(chuàng)建標簽。
將鼠標懸浮于目標項目所在標簽列的圖標上,單擊綁定/編輯。
在編輯標簽對話框中,輸入標簽鍵和標簽值。
單擊確定,并在標簽編輯成功對話框中單擊關閉。
批量創(chuàng)建多個項目的標簽。
選中要批量添加標簽的項目,單擊頁面底部的批量打標。
在編輯標簽對話框中,輸入標簽鍵和標簽值。
單擊確定,并在標簽編輯成功對話框中單擊關閉。
標簽篩選。
項目綁定標簽后,您可以在標簽篩選下拉列表中根據(jù)標簽的鍵和值篩選項目。
(可選)解綁標簽。
單個項目解綁標簽。
將鼠標懸浮于目標項目后所在標簽列的圖標上,單擊編輯。
在編輯標簽對話框中,單擊要解綁標簽后方的圖標。
單擊確定,并在標簽編輯成功對話框中單擊關閉。
批量解綁多個項目的標簽。
選中要批量解綁標簽的項目,單擊頁面底部的批量刪除標簽。
在批量解綁標簽對話框中,選中需要解綁標簽左側的復選框。
單擊解綁x個標簽(x為具體的解綁標簽數(shù)),并在標簽編輯成功對話框中單擊關閉。