資源組管理
DataWorks資源組屬于DataWorks的基礎(chǔ)服務(wù)，為DataWorks上的各個功能模塊提供計算資源，DataWorks資源組是您正常使用DataWorks的前提。資源組的狀態(tài)將影響到相關(guān)功能的穩(wěn)定運行，資源組的配額將影響任務(wù)或服務(wù)運行的效率。本文為您介紹資源組的各項屬性及特點。
背景信息
為了解決舊版資源組（公共調(diào)度資源組、獨享數(shù)據(jù)集成資源組、獨享調(diào)度資源組、獨享數(shù)據(jù)服務(wù)資源組）計費邏輯復(fù)雜，購買管理不統(tǒng)一等用戶體驗問題，DataWorks于2024年06月10日起逐步在各大地域上線全新Serverless資源組，所有DataWorks功能均可使用Serverless資源組，計費邏輯清晰簡單，通過一個資源組即可完成數(shù)據(jù)同步、任務(wù)調(diào)度運行、調(diào)用及管理API服務(wù)等操作。
DataWorks產(chǎn)品中使用的資源組，若無特指舊版資源組，均指Serverless資源組，其用途為通用型。
Serverless資源組可應(yīng)用于數(shù)據(jù)集成、數(shù)據(jù)調(diào)度以及數(shù)據(jù)服務(wù)。
Serverless資源組特點
通用型：不區(qū)分用途，DataWorks任何能力都可以使用。
付費形式靈活：支持按量和包年包月兩種付費形式。
支持運行中擴(kuò)縮容：擴(kuò)縮容時不影響已有任務(wù)的運行。
按需使用無浪費：用多少買多少，避免無效的資源浪費。最小購買粒度為2 CU。
高隔離性安全保障：屬于您的獨享資源，網(wǎng)絡(luò)控制也完全由您自主控制，提升了安全性和隔離性。
Serverless資源組計費方式
Serverless資源組打破了傳統(tǒng)按規(guī)格計費方式，采用全新計費方式，以CU為計費單位（1 CU的性能 ≈ 1核CPU + 4GiB內(nèi)存）。
調(diào)度任務(wù)：Serverless化，支持按量付費，按調(diào)度任務(wù)成功運行實例數(shù)階梯收費。
數(shù)據(jù)集成、數(shù)據(jù)計算、數(shù)據(jù)服務(wù)等：支持按量付費和包年包月。詳情請參見計費方式。
Serverless資源組的更多計費詳情，請參見Serverless資源組計費。
計費案例
假設(shè)華東1（杭州）地域某用戶每日凌晨需要通過DataWorks同步任務(wù)將業(yè)務(wù)庫MySQL數(shù)據(jù)同步至MaxCompute數(shù)倉，涉及20個同步任務(wù)，每個任務(wù)運行1小時。
如果使用Serverless資源組：以每個任務(wù)每小時消耗1 CU為例，消耗資源如圖所示：
說明華東1（杭州）地域Serverless資源組按量付費單價為
0.5 元/CU時。華東1（杭州）地域Serverless資源組按量付費單價為
0.077399 美元/CU時。Serverless資源組一天費用 = 單任務(wù)每小時CU消耗 × CU單價 × 任務(wù)個數(shù) × 運行時間 = 1 CU × 0.5 元/CU時 × 20個 × 1 小時= 10 元。
Serverless資源組一天費用 = 單任務(wù)每小時CU消耗 × CU單價 × 任務(wù)個數(shù) × 運行時間 = 1 CU × 0.077399 美元/CU時 × 20個 × 1 小時 = 1.54798 美元。
如果使用原獨享數(shù)據(jù)集成資源組，獨享數(shù)據(jù)集成資源組最低購買4核 8GB規(guī)格，華東1（杭州）地域單價492.50元/月，約合16.42元/天。
結(jié)論
Serverless資源組相比獨享數(shù)據(jù)集成資源組，不僅避免了不必要的資源浪費，而且價格便宜了約40%。
使用限制
僅華北2（北京）、華東2（上海）、華南1（深圳）、華東1（杭州）、中國（香港）、華北3（張家口）、新加坡、馬來西亞（吉隆坡）、印度尼西亞（雅加達(dá)）、日本（東京）、英國（倫敦）、美國（硅谷）、德國（法蘭克福）、美國（弗吉尼亞）地域支持使用Serverless資源組。
已具備資源組相關(guān)權(quán)限：
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess權(quán)限的用戶可以購買資源組。相關(guān)操作，請參見查看RAM用戶的權(quán)限、為RAM用戶授權(quán)。
僅空間管理員可以進(jìn)行資源組歸屬空間綁定與修改的操作。
資源組其他操作的權(quán)限控制，請參見控制臺實體對象級權(quán)限管控策略。
一個Serverless按量付費資源組最多可以使用500 CU。
說明Serverless資源組的數(shù)據(jù)調(diào)度并發(fā)默認(rèn)為50，最大可調(diào)整至200。此處配置的數(shù)據(jù)調(diào)度并發(fā)上限，僅用于控制可同時調(diào)度的任務(wù)數(shù)上限，最大支持200個任務(wù)實例并發(fā)執(zhí)行。 與任務(wù)執(zhí)行無關(guān)，不限制任務(wù)執(zhí)行行為。
除了實時同步任務(wù)外，其它類型的任務(wù)，單個任務(wù)最多可以分配16 CU。
注意事項
您對DataWorks資源組（包括Serverless資源組和舊版資源組）享有專屬使用權(quán)。相應(yīng)地，任何通過這些資源組執(zhí)行或調(diào)度的代碼邏輯所產(chǎn)生的法律義務(wù)與責(zé)任，也將由您承擔(dān)。我們建議您在使用過程中，確保遵守相關(guān)法律法規(guī)，合理使用資源，以維護(hù)良好的社區(qū)環(huán)境與自身權(quán)益。
Serverless資源組與舊版資源組對比
對比項 | 舊版資源組（獨享資源組和公共資源組） | Serverless資源組 |
使用方法 | 按照功能進(jìn)行區(qū)分，分為數(shù)據(jù)集成、數(shù)據(jù)調(diào)度、數(shù)據(jù)服務(wù)三種資源組。 | 各功能通用，不區(qū)分用途。 |
功能邊界 | DataWorks部分能力舊版資源組不支持。 | 支持DataWorks的所有功能。 |
支持混用 | 不支持，不同類型之間無法混用。 | 支持，一個資源組可以被所有功能（數(shù)據(jù)集成、數(shù)據(jù)調(diào)度、數(shù)據(jù)服務(wù)）使用。 |
售賣形式 | 按照機(jī)器規(guī)格和臺數(shù)收費。 最小需要購買一臺4c8g，最小擴(kuò)容步長為一臺4c8g。 | 按照CU進(jìn)行售賣。 最小需要購買2 CU，最小擴(kuò)容步長為1 CU。 |
收費方式 |
| 支持包年包月和按量付費兩種形式。 |
資源碎片的浪費 | 機(jī)器規(guī)格只有有限幾種，因此每種機(jī)器上都會存在一定量的資源碎片無法利用，造成資源浪費。 | 按需選擇合適CU數(shù)，避免了資源浪費。 |
擴(kuò)縮容能力 |
| 直接對于資源組CU數(shù)修改即可。 |
擴(kuò)縮容時影響 | 影響已經(jīng)在運行的任務(wù)。 | 已經(jīng)運行的任務(wù)不受影響。 |
網(wǎng)絡(luò)安全性 | DataWorks代持公網(wǎng)出入口。多用戶共享，存在資源爭搶。 | 完全使用客戶自己的公網(wǎng)能力，行為可控。 |
發(fā)展趨勢 | 計劃未來下線。 | 成為DataWorks唯一正式的資源組。 |
是否支持自定義鏡像 | 不支持。 | 支持自定義鏡像管理，能夠定制化構(gòu)建任務(wù)執(zhí)行所需組件的鏡像，滿足更多任務(wù)執(zhí)行條件。 |
相關(guān)參考
Serverless資源組的詳細(xì)計費說明，請參見Serverless資源組計費。
如何購買和使用Serverless資源組，請參見新增和使用Serverless資源組。
已有舊版資源組如何切換為Serverless資源組，請參見舊版資源組切換為Serverless資源組。
如需在已創(chuàng)建的數(shù)據(jù)源中使用該資源組，請在該數(shù)據(jù)源配置頁面進(jìn)行測試連通性，詳情請參見創(chuàng)建并管理數(shù)據(jù)源。
附錄：舊版資源組
不推薦使用舊版資源組（獨享資源組和公共資源組），相較于舊版資源組，Serverless資源組支持的能力更豐富、售賣方式更統(tǒng)一、能有效利用資源碎片避免浪費，因此推薦您使用Serverless資源組。
舊版資源組介紹
DataWorks舊版資源組包括獨享資源組、公共資源組，各資源組根據(jù)任務(wù)調(diào)度、數(shù)據(jù)集成、數(shù)據(jù)服務(wù)等不同的使用場景，細(xì)分為不同類型的資源組，包括：獨享調(diào)度資源組、獨享數(shù)據(jù)集成資源組、獨享數(shù)據(jù)服務(wù)資源組、公共調(diào)度資源組、公共數(shù)據(jù)服務(wù)資源組。其中，DataWorks的調(diào)度資源組用于保障任務(wù)的調(diào)度運行，數(shù)據(jù)集成資源組用于保障數(shù)據(jù)集成任務(wù)中的數(shù)據(jù)傳輸，數(shù)據(jù)服務(wù)資源組用于保障API的調(diào)用。
資源組類型 | 計費方式 | 資源組描述 | 調(diào)度資源組 | 數(shù)據(jù)集成資源組 | 數(shù)據(jù)服務(wù)資源組 |
獨享資源組 | 包年包月 |
| |||
公共資源組 | 按量付費 | 開通DataWorks時，阿里云DataWorks會自動為用戶提供公共資源組（公共數(shù)據(jù)服務(wù)資源組和公共調(diào)度資源組），公共資源組為DataWorks租戶共享，任務(wù)運行高峰期可能出現(xiàn)等待資源的情況。 | - |
公共資源組與獨享資源組對比
調(diào)度資源組
類別 | 公共調(diào)度資源組 | 獨享調(diào)度資源組 |
機(jī)器資源歸屬 | 由DataWorks維護(hù)，是所有租戶競爭使用的共享資源。 | 由DataWorks維護(hù)，是每個租戶獨占使用的計算資源。 |
網(wǎng)絡(luò) | 無法保證網(wǎng)絡(luò)連通，包括但不限于以下場景：
| 可通過網(wǎng)絡(luò)配置連通復(fù)雜的網(wǎng)絡(luò)環(huán)境。詳情請參見：獨享調(diào)度資源組。 |
任務(wù)執(zhí)行時效性要求 | DataWorks用戶共享，無法保障時效性。 | 租戶獨占，可以控制資源組執(zhí)行的并發(fā)數(shù)，并保障任務(wù)按時執(zhí)行。 |
適用場景 | 由于租戶共同擁有資源的使用權(quán)，所以任務(wù)量多時，容易造成空間內(nèi)任務(wù)阻塞。僅適用于低并發(fā)、低頻率的調(diào)用場景。 | 租戶可以控制資源組執(zhí)行的并發(fā)數(shù)，并支持對資源組進(jìn)行擴(kuò)縮容，規(guī)格變更等操作，滿足任務(wù)量大，且對任務(wù)時效性要求高的場景。 |
收費 | 按量付費，詳情請參見公共調(diào)度資源組計費說明：按量付費。 | 包年包月，詳情請參見獨享調(diào)度資源組計費說明：包年包月。 |
其他對比 |
| |
數(shù)據(jù)集成資源組
類別 | 獨享數(shù)據(jù)集成資源組 |
機(jī)器資源歸屬 | 由DataWorks維護(hù)，是每個租戶獨占使用的計算資源。 |
網(wǎng)絡(luò) |
|
支持的數(shù)據(jù)源 | 全部數(shù)據(jù)源。 |
任務(wù)執(zhí)行時效性要求 | 租戶獨占，可以控制資源組執(zhí)行的并發(fā)數(shù)，并保障任務(wù)按時執(zhí)行。 |
適用場景 | 大量、重要的生產(chǎn)任務(wù)。 |
收費 | 包年包月，詳情請參見獨享數(shù)據(jù)集成資源組計費說明：包年包月。 |
選擇指引 |
|
數(shù)據(jù)服務(wù)資源組
公共數(shù)據(jù)服務(wù)資源組為租戶共享資源。在對數(shù)據(jù)服務(wù)API進(jìn)行高并發(fā)、高頻率的接口調(diào)用并需要及時返回數(shù)據(jù)結(jié)果的情況下，企業(yè)需要專有的計算資源來保障數(shù)據(jù)服務(wù)的可用性和穩(wěn)定性。此種場景下建議您選擇DataWorks的獨享數(shù)據(jù)服務(wù)資源組。計費詳情，請參見獨享數(shù)據(jù)服務(wù)資源組計費說明：包年包月和公共數(shù)據(jù)服務(wù)資源組計費說明：按量付費。
費用說明
各類資源組的費用說明詳情請參見舊版資源組計費。
注意事項
老用戶開通DataWorks時，DataWorks默認(rèn)為您提供按量付費的公共資源組，同時，支持您購買包年包月獨享資源組，或者升級為DataWorks標(biāo)準(zhǔn)版、專業(yè)版、企業(yè)版，將您的IDC機(jī)器作為DataWorks任務(wù)運行的相關(guān)資源組，詳情請參見舊版資源組介紹。
不同類型的舊版資源組用于不同執(zhí)行階段的任務(wù)，本文以離線任務(wù)調(diào)度為例，為您介紹DataWorks離線任務(wù)下發(fā)機(jī)制，與任務(wù)運行過程中使用的資源組。詳情請參見舊版資源組任務(wù)下發(fā)機(jī)制。
在同一個執(zhí)行階段，任務(wù)可選擇不同類型的資源組，例如，離線任務(wù)調(diào)度可選擇包年包月獨享調(diào)度資源組，或按量付費公共調(diào)度資源組，數(shù)據(jù)集成離線任務(wù)執(zhí)行可選擇包年包月獨享數(shù)據(jù)集成資源組，更多詳情，請參見公共資源組與獨享資源組對比。
DataWorks的公共資源組、獨享資源組均已默認(rèn)接入云安全中心免費版，為您提供服務(wù)器異常登錄檢測、DDoS攻擊檢測、主流類型的服務(wù)器漏洞掃描等基礎(chǔ)的安全加固能力，詳情請參見云安全中心免費版。
舊版資源組任務(wù)下發(fā)機(jī)制
DataWorks的離線任務(wù)通過調(diào)度資源組下發(fā)至各引擎或服務(wù)器資源上執(zhí)行。例如，DataWorks通過調(diào)度資源組將任務(wù)下發(fā)至MaxCompute引擎上執(zhí)行。數(shù)據(jù)集成離線同步任務(wù)通過調(diào)度資源組將任務(wù)下發(fā)至數(shù)據(jù)集成任務(wù)執(zhí)行資源上執(zhí)行。