為了加強DataWorks功能間的資源管理和統一用戶體驗,DataWorks推出Serverless資源組,涵蓋了原獨享調度資源組、獨享數據集成資源組、獨享數據服務資源組的核心功能,通過一個資源組即可完成數據同步、任務調度運行、調用及管理API服務等操作。本文檔將詳細介紹如何新增和使用Serverless資源組。
前提條件
您需要先了解Serverless資源組的規格性能、計費類型等細節,提前根據業務場景規劃需購買的資源組規格和購買時長,詳情請參見:DataWorks資源組概述、Serverless資源組計費。
僅華北2(北京)、華北3(張家口)、華北6 (烏蘭察布)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、日本(東京)、英國(倫敦)、美國(硅谷)、德國(法蘭克福)、美國(弗吉尼亞)地域支持使用Serverless資源組。
已具備資源組相關權限:
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess權限的用戶可以購買資源組。相關操作,請參見查看RAM用戶的權限、為RAM用戶授權。
僅空間管理員可以進行資源組歸屬空間綁定與修改的操作。
資源組其他操作的權限控制,請參見控制臺實體對象級權限管控策略。
若您需要在虛商環境下使用Serverless通用型資源組,請先確認您所對應的提供商是否已支持售賣該商品。
若您之前尚未開通過任何地域的DataWorks,則開通DataWorks后只支持購買和使用Serverless資源組,無法購買和使用舊版資源組。
Serverless資源組與舊版資源組對比
對比項 | 舊版資源組(獨享資源組和公共資源組) | Serverless資源組 |
使用方法 | 按照功能進行區分,分為數據集成、數據調度、數據服務三種資源組。 | 各功能通用,不區分用途。 |
功能邊界 | DataWorks部分能力舊版資源組不支持。 | 支持DataWorks的所有功能。 |
支持混用 | 不支持,不同類型之間無法混用。 | 支持,一個資源組可以被所有功能(數據集成、數據調度、數據服務)使用。 |
售賣形式 | 按照機器規格和臺數收費。 最小需要購買一臺4c8g,最小擴容步長為一臺4c8g。 | 按照CU進行售賣。 最小需要購買2 CU,最小擴容步長為1 CU。 |
收費方式 |
| 支持包年包月和按量付費兩種形式。 |
資源碎片的浪費 | 機器規格只有有限幾種,因此每種機器上都會存在一定量的資源碎片無法利用,造成資源浪費。 | 按需選擇合適CU數,避免了資源浪費。 |
擴縮容能力 |
| 直接對于資源組CU數修改即可。 |
擴縮容時影響 | 影響已經在運行的任務。 | 已經運行的任務不受影響。 說明 升配、降配時不會對正在運行的任務產生影響。 |
網絡安全性 | DataWorks代持公網出入口。多用戶共享,存在資源爭搶。 | 完全使用客戶自己的公網能力,行為可控。 |
發展趨勢 | 計劃未來下線。 | 成為DataWorks唯一正式的資源組。 |
是否支持自定義鏡像 | 不支持。 | 支持自定義鏡像管理,能夠定制化構建任務執行所需組件的鏡像,滿足更多任務執行條件。 |
注意事項
為了確保資源組可以訪問到數據源(目標網絡環境下的數據庫、數據服務或其他數據),請提前根據數據源情況,了解并完成網絡連通。詳情請參見網絡連通方案。
重要Serverless資源組可通過綁定專有網絡的方式在內網訪問復雜網絡環境下的數據源或地址。但Serverless資源組默認不具備公網訪問能力,如果需要通過公網訪問數據源或網絡,請為Serverless資源組綁定的VPC配置公網NAT網關和EIP。具體操作,請參見場景五:數據源在公網。
若VPC、V-Switch已綁定至DataWorks Serverless資源組,請勿隨意變更VPC、V-Switch的環境,該操作可能導致DataWorks上的任務執行失敗。
資源組不同計費方式(包年包月和按量付費)間不支持轉換。例如,您通過包年包月方式購買的Serverless資源組,該資源組后續只能使用包年包月方式計費,不能轉換為按量付費。
Serverless資源組計費
資源組相關計費,請參見Serverless資源組計費。
步驟一:新增Serverless資源組
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
在獨享資源組頁簽下單擊新建資源組,進入Serverless資源組購買頁面。
參數
說明
地域和可用區
選擇地域,需要和DataWorks工作空間所在的地域一致。
付費模式
包年包月:預付費模式。
按量付費:后付費模式。
說明資源組不同計費方式(包年包月和按量付費)間不支持轉換。例如,您通過包年包月方式購買的Serverless資源組,該資源組后續只能使用包年包月方式計費,不能轉換為按量付費。
您可以同時購買多個不同計費方式的資源組,以滿足您的業務需求。
資源組規格
當付費模式為包年包月時,需要設置資源組規格。
取值范圍:2 CU ~ 99999999 CU。
說明1 CU = 1核CPU + 4GiB內存
,具體購買建議及運行各任務需要的最低規格要求,請參見性能指標及購買建議。上限
99999999 CU
即表示購買規格無上限,但可能受庫存影響,如庫存不足時,請關注購買頁面的提示。
資源組名稱
設置資源組名稱。
資源組備注
設置資源組備注說明。
專有網絡(VPC)
根據資源組需要連通的專有網絡來選擇。
交換機(V-Switch)
計費周期
當付費模式為包年包月時,需要設置計費周期。
重要建議選中到期自動續費,可避免因資源到期停機或釋放而影響業務。勾選后,自動續費周期為每月,在實例到期前會以實時價格自動扣費。自動續費可隨時取消,詳情請參見關于自動續費和手動續費。
服務關聯角色
關聯服務角色,首次購買時需要創建服務關聯角色(AliyunServiceRoleForDataWorks),后續會默認關聯已創建的角色。
說明服務關聯角色(AliyunServiceRoleForDataWorks),用于訪問專有網絡VPC、彈性網卡ENI及安全組中的資源,該角色的更多權限細節,請參見DataWorks服務關聯角色。
步驟二:為工作空間綁定資源組
創建資源組后,還需要將其與工作空間綁定,綁定完成后,才可以在目標工作空間創建各項任務時選擇并使用Serverless資源組。
創建工作空間時綁定資源組
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的工作空間,進入工作空間列表頁面。
單擊創建工作空間,在創建工作空間頁面,修改參數默認資源組配置的取值為已創建的目標資源組。
為已有工作空間綁定資源組
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
點擊目標資源組右側操作列的綁定工作空間,找到待綁定的工作空間后,單擊操作列的綁定。
步驟三:網絡連通
為了確保各項任務的順利進行,您需要完成網絡連通的相關配置,使資源組可以訪問到數據源。具體請參見網絡連通方案。
Serverless資源組可通過綁定專有網絡的方式在內網訪問復雜網絡環境下的數據源或地址。但Serverless資源組默認不具備公網訪問能力,如果需要通過公網訪問數據源或網絡,請為Serverless資源組綁定的VPC配置公網NAT網關和EIP。具體操作,請參見場景五:數據源在公網。
資源組綁定的VPC支持配置DNS內網解析,從而允許DataWorks通過自定義內網域名訪問數據源。以CDH集群為例,您可以為Serverless資源組綁定的VPC配置內網DNS解析,詳情請參見獲取CDH或CDP集群信息并配置網絡連通。
步驟四:資源組配置項調整
配額管理
您可以為數據計算、數據集成和數據服務分別配置資源組的CU上限或CU保障,以確保各項任務能夠順利運行。
按量付費資源組配置CU上限,防止資源使用過多。
包年包月資源組配置CU保障,設置最低CU保障額度。
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
調整配額。
在資源組列表頁調整。
單擊目標資源組操作列的 > 配額管理,然后修改不同用途的CU上限或CU保障取值。
在資源組詳情頁調整。
在資源組列表頁,單擊目標資源組名稱,進入資源組詳情頁面。在右上角單擊配額管理,然后修改不同用途的CU上限或CU保障取值。
數據調度并發上限調整
在數據調度場景下,您可以手動設置任務并發上限,控制最大允許多少個任務同時執行。
數據調度并發默認為50,最大可調整至200。
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
調整數據調度并發上限。
在資源組列表頁調整。
單擊目標資源組操作列的 > 數據調度并發上限,然后修改數據調度并發上限取值。
在資源組詳情頁調整。
在資源組列表頁,單擊目標資源組名稱,進入資源組詳情頁面。在右上角單擊數據調度并發上限,然后修改數據調度并發上限取值。
說明此處配置的數據調度并發上限,僅用于控制可同時調度的任務數上限,與任務執行無關,不限制任務執行行為。
下一步:為各項任務配置Serverless資源組
Serverless資源組創建并配置完成后,您需要為數據集成、數據調度、數據服務等任務配置資源組,以便在各項任務中應用Serverless資源組。具體操作,請參見通用參考:切換資源組。
更多操作
查看Serverless資源組使用率
包年包月資源組使用率較高將阻塞任務執行,您可使用如下方式查看運行在該資源組上的任務、資源組當前使用率、歷史時間點資源的使用情況以及每個任務占用的資源量。
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
查看資源組使用率。
在資源組列表頁查看。
查看目標資源組當前利用列展示的資源組使用率。
在資源組詳情頁查看。
在資源組列表頁,單擊目標資源組名稱,進入資源組詳情頁面。通過資源使用率曲線回顧歷史時間點資源的使用情況,并按照資源組使用場景查看各場景下正在運行或等待運行的任務詳情。
資源組擴縮容操作
資源組擴縮容操作涉及費用,具體計費規則,詳見升配規則說明。
如果您在包年包月資源組詳情頁查看資源組使用率過高,可以手動擴容資源組規格,從而提升數據集成、任務調度、數據服務的任務處理性能。如果包年包月資源組實際使用率較低,可手動縮容資源組規格,從而節約成本。
進入資源組列表頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的資源組,進入資源組列表頁面。
單擊目標資源組操作列的 > 擴容或縮容。
說明縮容可能導致任務變慢,請評估后謹慎操作。
在資源組變配頁面,調整資源組規格后,勾選服務協議,單擊立即購買。
相關文檔
資源組的更多介紹,請參見DataWorks資源組概述。
支持通過運維中心的智能監控功能來對資源組的使用率及等待資源的實例數進行監控。詳情請參見創建自定義規則。
在資源組列表頁,查看實例狀態時:
如果資源組顯示已到期,請單擊目標資源組操作列的> 續費。
如果資源組的資源使用率達到警戒線,請單擊目標資源組操作列的> 擴容,詳情請參見資源組擴縮容操作。
如果運行在Serverless資源組上的任務需要特定的開發環境(例如第三方庫依賴),您可以創建一個集成必要開發包與依賴的自定義鏡像,然后在運行任務時,指定Serverless資源組作為執行資源,并指定該鏡像作為運行環境。