當您在MaxCompute中需要對大規模數據進行傳輸且對傳輸穩定性和延遲有要求時,您可以使用獨享數據傳輸服務資源組。獨享數據傳輸服務資源組可以提供更高的數據傳輸速度和更好的網絡條件,以減少傳輸時間并提高效率。本文為您介紹如何購買、使用獨享數據傳輸服務資源組。
背景信息
MaxCompute當前在各個地域均為您提供了免費的公共數據傳輸服務資源組,為該地域下所有客戶提供數據傳輸服務,同時也為您提供了獨享數據傳輸服務資源組(包年包月),以提供更好的數據同步穩定性和同步的并發數。兩類資源組的對比介紹如下。
資源組類型 | 費用說明 | 支持的地域 | 使用注意事項 |
公共數據傳輸服務資源組 | 免費 | 當前MaxCompute的所有地域 |
|
獨享數據傳輸服務資源組(包年包月) | 包年包月,按購買并發數的數量計費,計費詳情見下文獨享數據傳輸服務資源組定價。 |
| 購買獨享數據傳輸服務資源組后,MaxCompute會保障您的資源獨享,購買的資源會完全鎖定僅供您使用,其它租戶不能使用。保障了數據傳輸資源的獨享性,也提高數據傳輸的穩定性。 |
檢查網絡與地域條件
購買使用獨享數據服務資源組前,您需要檢查當前的網絡和地域條件是否滿足要求,獨享輸出傳輸服務資源組在數據傳輸上對網絡和地域有以下限制:
只支持云上VPC網絡訪問,暫時不支持公共網絡訪問。
只支持同地域的數據傳輸服務,暫時不支持跨地域的數據傳輸服務,您需要根據數據傳輸任務的地域購買對應地域的資源組。
數據傳輸服務其他使用限制請參考數據傳輸服務使用限制。
購買獨享數據服務資源組
登錄MaxCompute控制臺,在左上角選擇地域后,在左側導航欄選擇工作區 > 配額(Quota)管理。
在Quota管理頁面單擊新購Quota,進入資源購買頁面,并根據界面提示配置購買參數。其中關鍵參數如下。
參數名稱
說明
規格類型
選擇數據傳輸服務。
數據傳輸服務并發
選擇您要購買的并發數。
說明目前并發數是50并發起賣,增量購買需要是1的整數倍。
單擊立即購買,根據界面提示勾選服務協議并支付費用,完成資源組的購買。
購買完成后返回控制臺,在Quota管理頁面將會出現一個Quota類型為傳輸服務的Quota組,在該Quota組上可以進行變配、降配和續費操作,升級與降配的策略請參見升級與降配。
使用獨享數據服務資源組
在進行數據傳輸或數據集成作業時,您可以根據不同的業務需求,靈活指定作業使用的獨享數據服務資源組,以提高數據處理效率。
通過本地客戶端(odpscmd)或其他連接工具訪問MaxCompute項目,啟用獨享數據傳輸服務資源組。
setproject odps.tunnel.enable.quota.route.v2=true;
說明請確保您的MaxCompute SDK版本已升級為V0.45或以上版本。
授權。
當前針對作業級別指定Quota功能的鑒權默認是所有賬號(包括阿里云賬號)和角色都沒有權限,需要進行授權操作。
新增角色。
登錄MaxCompute控制臺,在左上角選擇地域。
在左側導航欄單擊租戶管理。
在租戶管理頁面,單擊角色管理。
在角色管理頁簽,單擊新增角色。
在新增角色對話框,自定義角色名稱和使用如下權限策略內容。
{ "Statement": [{ "Action": [ "odps:List", "odps:Usage"], "Effect": "Allow", "Resource": ["acs:odps:*:regions/*/quotas/*"]}], "Version": "1" }
參數說明如下。
參數
說明
Action
指定被授予的操作權限名稱。單次授權可以指定多個操作,可根據實際情況自行添加操作權限名稱。當有多個操作時,多個操作名稱之間使用半角逗號(,)分隔。操作取值請參見MaxCompute權限。
說明權限策略參數的詳細內容請參見權限策略基本元素。
Resource
指定被授權的資源范圍,格式為
["acs:odps:Tenant/${tenant_id}:regions/${region_id}/quotas/${quota_name}"]
。["acs:odps:*:regions/*/quotas/*"]
含義為當前租戶下所有Region下的所有Quota,可根據實際情況自行選擇具體Region和Quota。單擊確定,完成新增角色。
將角色授權給需要進行作業級別指定Quota的賬號。
說明默認主賬號或者擁有賬戶級別(tenant)Super_Administrator的子賬號可進行授權操作。
由于授權對象的差別,會出現如下兩種場景。
對阿里云賬號授權。
目前需要通過如下命令對阿里云賬號授權。
--將阿里云賬號加到租戶內并給阿里云賬號授權角色 Add tenant user <Aliyun$xxxx>; Grant tenant role <role_name> to user <Aliyun$xxxx>; --查看租戶role/user的權限 Show grants for tenant role <role_name>; Show grants for tenant user <user_name>; Show principals for tenant [role] <role_name>;
對RAM用戶授權。
在MaxCompute控制臺左側導航欄,單擊租戶管理>用戶管理。
在對應RAM用戶的操作列,單擊修改角色。
在編輯角色對話框,選擇待添加角色區域中的目標角色至已添加角色區域。
單擊確定,完成授權。
在數據傳輸服務任務的SDK中手工指定Quota組。
--使用Quota名稱為XXX的資源組進行數據傳輸服務。 final TableTunnel tunnel = new TableTunnel(odps); tunnel.getConfig().setQuotaName("xxx"); TableTunnel.UploadSession up = tunnel.createUploadSession(projectName, tableName); --可以獲取到session實際在使用的資源組 up.getQuotaName();
您可以登錄MaxCompute控制臺,在配額(Quota)管理列表中,查看并復制對應的
QuotaName
,例如:ot_42854300324****_169821756****_p#ot_42854300324****_169821756****
。
查看資源組指標
您可以查看當前數據傳輸服務(包年包月)獨享資源組的使用情況,在Quota管理對應的獨享資源組上單擊資源消耗后,進入指標查看頁面。
指標名稱 | 說明 |
請求并發數 | 當前資源組請求并發的曲線圖,包括上傳、下載和總并發數。 |
吞吐量(B/S) | 當前資源組吞吐量的曲線圖,包括上傳和下載。 |
表訪問熱度(并發數) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源組里使用Tunnel Batch方式上傳的testtable表的并發數曲線圖。 |
訪問來源IP(B/S) | 選擇使用方式(例如:Tunnel Batch上傳)及表名稱(例如:testtable),則表示當前資源組里使用Tunnel Batch方式上傳的testtable表的各訪問來源IP每秒傳輸的數據量曲線圖。 |
錯誤個數 | 當前資源組發生500和429錯誤的個數曲線圖。 |
其他操作
您可通過MaxCompute控制臺按照以下步驟進行資源組配置。
通過MaxCompute控制臺進行資源組配置的功能,預計北京時間2024年9月30日下線。為避免下線后資源組配置失效,建議您恢復默認配置(數據傳輸服務資源組設置為default),并參考使用獨享數據服務資源組進行資源組配置。
登錄MaxCompute控制臺,在左上角選擇地域后,在左側導航欄選擇 。
在項目管理頁面選擇您要綁定Quota組的項目,單擊操作列的管理后,單擊基礎屬性區域的編輯。
在數據傳輸服務下拉列表中選擇您需要綁定的數據傳輸服務資源組。
可以綁定默認公共資源組(default),也可以選擇購買的獨享資源組。
數據傳輸服務資源組
是否開啟成默認數據傳輸服務
說明
default
-
默認資源組:公共數據傳輸服務資源組。
即該項目下所有發起的數據傳輸任務都將使用公共數據傳輸服務資源組,并且不能使用獨享資源組。
獨享資源組
是
默認資源組:獨享數據傳輸服務資源組。
單個任務資源組切換:在SDK或者數據集成中提交任務時手工指定QuotaName為目標資源組。
否
默認資源組:公共數據傳輸服務資源組。
單個任務資源組切換:在SDK或者數據集成中提交任務時手工指定QuotaName為獨享資源組的名稱。