資源組管理
DataWorks資源組屬于DataWorks的基礎服務,為DataWorks上的各個功能模塊提供計算資源,DataWorks資源組是您正常使用DataWorks的前提。資源組的狀態將影響到相關功能的穩定運行,資源組的配額將影響任務或服務運行的效率。本文為您介紹資源組的各項屬性及特點。
背景信息
為了解決舊版資源組(公共調度資源組、獨享數據集成資源組、獨享調度資源組、獨享數據服務資源組)計費邏輯復雜,購買管理不統一等用戶體驗問題,DataWorks于2024年06月10日起逐步在各大地域上線全新Serverless資源組,所有DataWorks功能均可使用Serverless資源組,計費邏輯清晰簡單,通過一個資源組即可完成數據同步、任務調度運行、調用及管理API服務等操作。
DataWorks產品中使用的資源組,若無特指舊版資源組,均指Serverless資源組,其用途為通用型。
Serverless資源組可應用于數據集成、數據調度以及數據服務。
Serverless資源組特點
通用型:不區分用途,DataWorks任何能力都可以使用。
付費形式靈活:支持按量和包年包月兩種付費形式。
支持運行中擴縮容:擴縮容時不影響已有任務的運行。
按需使用無浪費:用多少買多少,避免無效的資源浪費。最小購買粒度為2 CU。
高隔離性安全保障:屬于您的獨享資源,網絡控制也完全由您自主控制,提升了安全性和隔離性。
Serverless資源組計費方式
Serverless資源組打破了傳統按規格計費方式,采用全新計費方式,以CU為計費單位(1 CU的性能 ≈ 1核CPU + 4GiB內存)。
調度任務:Serverless化,支持按量付費,按調度任務成功運行實例數階梯收費。
數據集成、數據計算、數據服務等:支持按量付費和包年包月。詳情請參見計費方式。
Serverless資源組的更多計費詳情,請參見Serverless資源組計費。
計費案例
假設華東1(杭州)地域某用戶每日凌晨需要通過DataWorks同步任務將業務庫MySQL數據同步至MaxCompute數倉,涉及20個同步任務,每個任務運行1小時。
如果使用Serverless資源組:以每個任務每小時消耗1 CU為例,消耗資源如圖所示:
說明華東1(杭州)地域Serverless資源組按量付費單價為
0.5 元/CU時
。華東1(杭州)地域Serverless資源組按量付費單價為
0.077399 美元/CU時
。Serverless資源組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 運行時間 = 1 CU × 0.5 元/CU時 × 20個 × 1 小時= 10 元。
Serverless資源組一天費用 = 單任務每小時CU消耗 × CU單價 × 任務個數 × 運行時間 = 1 CU × 0.077399 美元/CU時 × 20個 × 1 小時 = 1.54798 美元。
如果使用原獨享數據集成資源組,獨享數據集成資源組最低購買4核 8GB規格,華東1(杭州)地域單價492.50元/月,約合16.42元/天。
結論
Serverless資源組相比獨享數據集成資源組,不僅避免了不必要的資源浪費,而且價格便宜了約40%。
使用限制
僅華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)、中國(香港)、華北3(張家口)、新加坡、馬來西亞(吉隆坡)、印度尼西亞(雅加達)、日本(東京)、英國(倫敦)、美國(硅谷)、德國(法蘭克福)、美國(弗吉尼亞)地域支持使用Serverless資源組。
已具備資源組相關權限:
僅擁有AliyunBSSOrderAccess和AliyunDataWorksFullAccess權限的用戶可以購買資源組。相關操作,請參見查看RAM用戶的權限、為RAM用戶授權。
僅空間管理員可以進行資源組歸屬空間綁定與修改的操作。
資源組其他操作的權限控制,請參見控制臺實體對象級權限管控策略。
一個Serverless按量付費資源組最多可以使用500 CU。
說明Serverless資源組的數據調度并發默認為50,最大可調整至200。此處配置的數據調度并發上限,僅用于控制可同時調度的任務數上限,最大支持200個任務實例并發執行。 與任務執行無關,不限制任務執行行為。
除了實時同步任務外,其它類型的任務,單個任務最多可以分配16 CU。
注意事項
您對DataWorks資源組(包括Serverless資源組和舊版資源組)享有專屬使用權。相應地,任何通過這些資源組執行或調度的代碼邏輯所產生的法律義務與責任,也將由您承擔。我們建議您在使用過程中,確保遵守相關法律法規,合理使用資源,以維護良好的社區環境與自身權益。
Serverless資源組與舊版資源組對比
對比項 | 舊版資源組(獨享資源組和公共資源組) | Serverless資源組 |
使用方法 | 按照功能進行區分,分為數據集成、數據調度、數據服務三種資源組。 | 各功能通用,不區分用途。 |
功能邊界 | DataWorks部分能力舊版資源組不支持。 | 支持DataWorks的所有功能。 |
支持混用 | 不支持,不同類型之間無法混用。 | 支持,一個資源組可以被所有功能(數據集成、數據調度、數據服務)使用。 |
售賣形式 | 按照機器規格和臺數收費。 最小需要購買一臺4c8g,最小擴容步長為一臺4c8g。 | 按照CU進行售賣。 最小需要購買2 CU,最小擴容步長為1 CU。 |
收費方式 |
| 支持包年包月和按量付費兩種形式。 |
資源碎片的浪費 | 機器規格只有有限幾種,因此每種機器上都會存在一定量的資源碎片無法利用,造成資源浪費。 | 按需選擇合適CU數,避免了資源浪費。 |
擴縮容能力 |
| 直接對于資源組CU數修改即可。 |
擴縮容時影響 | 影響已經在運行的任務。 | 已經運行的任務不受影響。 |
網絡安全性 | DataWorks代持公網出入口。多用戶共享,存在資源爭搶。 | 完全使用客戶自己的公網能力,行為可控。 |
發展趨勢 | 計劃未來下線。 | 成為DataWorks唯一正式的資源組。 |
是否支持自定義鏡像 | 不支持。 | 支持自定義鏡像管理,能夠定制化構建任務執行所需組件的鏡像,滿足更多任務執行條件。 |
相關參考
Serverless資源組的詳細計費說明,請參見Serverless資源組計費。
如何購買和使用Serverless資源組,請參見新增和使用Serverless資源組。
已有舊版資源組如何切換為Serverless資源組,請參見舊版資源組切換為Serverless資源組。
如需在已創建的數據源中使用該資源組,請在該數據源配置頁面進行測試連通性,詳情請參見創建并管理數據源。
附錄:舊版資源組
不推薦使用舊版資源組(獨享資源組和公共資源組),相較于舊版資源組,Serverless資源組支持的能力更豐富、售賣方式更統一、能有效利用資源碎片避免浪費,因此推薦您使用Serverless資源組。
舊版資源組介紹
DataWorks舊版資源組包括獨享資源組、公共資源組,各資源組根據任務調度、數據集成、數據服務等不同的使用場景,細分為不同類型的資源組,包括:獨享調度資源組、獨享數據集成資源組、獨享數據服務資源組、公共調度資源組、公共數據服務資源組。其中,DataWorks的調度資源組用于保障任務的調度運行,數據集成資源組用于保障數據集成任務中的數據傳輸,數據服務資源組用于保障API的調用。
資源組類型 | 計費方式 | 資源組描述 | 調度資源組 | 數據集成資源組 | 數據服務資源組 |
獨享資源組 | 包年包月 |
| |||
公共資源組 | 按量付費 | 開通DataWorks時,阿里云DataWorks會自動為用戶提供公共資源組(公共數據服務資源組和公共調度資源組),公共資源組為DataWorks租戶共享,任務運行高峰期可能出現等待資源的情況。 | - |
公共資源組與獨享資源組對比
調度資源組
類別 | 公共調度資源組 | 獨享調度資源組 |
機器資源歸屬 | 由DataWorks維護,是所有租戶競爭使用的共享資源。 | 由DataWorks維護,是每個租戶獨占使用的計算資源。 |
網絡 | 無法保證網絡連通,包括但不限于以下場景:
| 可通過網絡配置連通復雜的網絡環境。詳情請參見:獨享調度資源組。 |
任務執行時效性要求 | DataWorks用戶共享,無法保障時效性。 | 租戶獨占,可以控制資源組執行的并發數,并保障任務按時執行。 |
適用場景 | 由于租戶共同擁有資源的使用權,所以任務量多時,容易造成空間內任務阻塞。僅適用于低并發、低頻率的調用場景。 | 租戶可以控制資源組執行的并發數,并支持對資源組進行擴縮容,規格變更等操作,滿足任務量大,且對任務時效性要求高的場景。 |
收費 | 按量付費,詳情請參見公共調度資源組計費說明:按量付費。 | 包年包月,詳情請參見獨享調度資源組計費說明:包年包月。 |
其他對比 |
|
數據集成資源組
類別 | 獨享數據集成資源組 |
機器資源歸屬 | 由DataWorks維護,是每個租戶獨占使用的計算資源。 |
網絡 |
|
支持的數據源 | 全部數據源。 |
任務執行時效性要求 | 租戶獨占,可以控制資源組執行的并發數,并保障任務按時執行。 |
適用場景 | 大量、重要的生產任務。 |
收費 | 包年包月,詳情請參見獨享數據集成資源組計費說明:包年包月。 |
選擇指引 |
|
數據服務資源組
公共數據服務資源組為租戶共享資源。在對數據服務API進行高并發、高頻率的接口調用并需要及時返回數據結果的情況下,企業需要專有的計算資源來保障數據服務的可用性和穩定性。此種場景下建議您選擇DataWorks的獨享數據服務資源組。計費詳情,請參見獨享數據服務資源組計費說明:包年包月和公共數據服務資源組計費說明:按量付費。
費用說明
各類資源組的費用說明詳情請參見舊版資源組計費。
注意事項
老用戶開通DataWorks時,DataWorks默認為您提供按量付費的公共資源組,同時,支持您購買包年包月獨享資源組,或者升級為DataWorks標準版、專業版、企業版,將您的IDC機器作為DataWorks任務運行的相關資源組,詳情請參見舊版資源組介紹。
不同類型的舊版資源組用于不同執行階段的任務,本文以離線任務調度為例,為您介紹DataWorks離線任務下發機制,與任務運行過程中使用的資源組。詳情請參見舊版資源組任務下發機制。
在同一個執行階段,任務可選擇不同類型的資源組,例如,離線任務調度可選擇包年包月獨享調度資源組,或按量付費公共調度資源組,數據集成離線任務執行可選擇包年包月獨享數據集成資源組,更多詳情,請參見公共資源組與獨享資源組對比。
DataWorks的公共資源組、獨享資源組均已默認接入云安全中心免費版,為您提供服務器異常登錄檢測、DDoS攻擊檢測、主流類型的服務器漏洞掃描等基礎的安全加固能力,詳情請參見云安全中心免費版。
舊版資源組任務下發機制
DataWorks的離線任務通過調度資源組下發至各引擎或服務器資源上執行。例如,DataWorks通過調度資源組將任務下發至MaxCompute引擎上執行。數據集成離線同步任務通過調度資源組將任務下發至數據集成任務執行資源上執行。