如果您準備將DataWorks的舊版資源組切換為Serverless資源組,為了能夠平滑遷移,需要在切換前評估各項已有任務的資源消耗情況,然后切換到足夠承載所有任務的Serverless資源組,本文為您提供了不同任務所需CU的評估示例、切換前后可能的影響以及從舊版資源組切換到Serverless資源組的操作指導。
背景信息
DataWorks支持獨享數據集成資源組、獨享調度資源組和獨享數據服務資源組,但這些資源組需要根據實際情況分別購買和配置,為了加強DataWorks功能間的資源管理和統一用戶體驗,DataWorks推出Serverless資源組,無需多次購買,一個Serverless資源組即可在數據集成、任務調度、數據服務功能間統一使用,簡化了資源組的交互問題并提升了操作的一致性。
計費說明
切換前,舊版資源組計費說明:舊版資源組計費
切換后,Serverless資源組計費說明:Serverless資源組計費。
任務使用資源組從舊版資源組切換到Serverless資源組后,計費項可能存在變更,具體請參見附錄:資源組切換后各任務計費項對比。
由舊版資源組切換為Serverless資源組前,數據計算任務(PyODPS2、EMR Hive等)不會收取計算費用,切換為Serverless資源組后,計算任務會收取計算費用。
操作步驟
步驟一:查詢待切換資源組的任務
數據集成
數據集成頁面
進入數據集成頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據集成。
在左側導航欄,單擊同步任務,然后在任務列表區域,篩選資源組為待切換的數據集成資源組。
數據開發頁面
進入數據開發頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據開發。
在左側導航欄,單擊數據開發,找到目標業務流程,右鍵選擇批量操作。
節點類型選擇為離線同步和實時同步,數據集成資源組選擇為待切換的數據集成資源組。
調度任務
進入運維中心頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入運維中心。
在左側導航欄單擊
,篩選調度資源組為待切換的調度資源組。
數據服務
進入數據服務頁面。
登錄DataWorks控制臺,切換至目標地域后,單擊左側導航欄的 ,在下拉框中選擇對應工作空間后單擊進入數據服務。
在左側導航欄單擊服務開發,然后單擊,進入批量操作頁面,篩選資源組為待切換的數據服務資源組。
步驟二:切換前Serverless資源組規格評估
您需要在切換前評估已有任務(同步任務、調度任務以及數據服務)的資源消耗情況,從而確定需要購買的Serverless資源組的規格大小,確保Serverless資源組能夠承載相關業務。
具體評估建議如下:
數據集成
離線同步任務
如果使用向導模式:
離線同步任務并發配置
Serverless資源組
<4
0.5 CU
>=4
(并發數?4)?0.07+0.5
CU如果使用腳本模式配置了JVM:
設置--Xmx值
Serverless資源組
1.8g<=
0.5 CU
value(單位g)
value÷0.9÷4
CU
實時同步任務
同步任務類型 | 舊版資源組規格 | Serverless資源組 | |
MySQL實時同步 | 數據庫數1 | 4 vCPU 8 GiB | 2.5 CU |
數據庫數2~5 | 8 vCPU 16 GiB | 4 CU | |
數據庫數6以上 | 12 vCPU 24 GiB | 7 CU | |
DRDS(PolarDB-X 1.0)實時同步 | 12 vCPU 24 GiB | 7 CU | |
kafka實時同步 | 4 vCPU 8 GiB | 2.5 CU | |
其它類型單表級別實時任務 | 4 vCPU 8 GiB | 2.5 CU |
任務調度
如果您的調度任務中包含計算任務(PyODPS2、EMR Hive等任務):計算任務將使用Serverless資源組進行計算,請根據任務實際情況合理規劃資源組CU規格。
說明各計算任務的默認CU量,請參見:數據計算任務列表。
如果您的調度任務中不包含計算任務:Serverless資源組支持的最大并發運行實例數上限為200,已滿足舊版資源組所有規格的最大并發運行實例數,無需關注Serverless資源組CU規格。
舊版資源組不同規格支持的最大并發運行實例數不同,具體如下:
舊版資源組
Serverless資源組
規格
最大并發運行實例數
最大并發運行實例數
4 vCPU 8 Gib
16
200
8 vCPU 16 Gib
32
12 vCPU 24 Gib
48
16 vCPU 32 Gib
64
24 vCPU 48 Gib
96
數據服務
最大每秒請求(QPS) | 舊版資源組規格 | Serverless資源組 | 服務可用性(SLA) |
500 | api.s2.small | 4 CU | 99.95% |
1000 | api.s2.medium | 8 CU | |
2000 | api.s2.large | 16 CU | |
500 | api.s1.small | 4 CU | |
1000 | api.s1.medium | 8 CU | |
2000 | api.s1.large | 16 CU |
舊版資源組規格api.s1.small
、api.s1.medium
和api.s1.large
已停止售賣,如果您正在使用,請盡快切換資源組。
步驟三:購買Serverless資源組
根據已評估的Serverless資源組規格大小,購買Serverless資源組。具體請參見新增和使用Serverless資源組。
步驟四:切換為Serverless資源組
后續步驟
切換Serverless資源組后,如果原舊版資源組確認不再使用,可將原資源組退訂。具體操作,請參見通用參考:退訂包年包月產品。
附錄:資源組切換后各任務計費項對比
當您從舊版資源組切換到Serverless資源組時,任務執行涉及的計費項會有所不同,以下以具體示例為您介紹資源組切換前后計費項變化:
以調度配置了數據質量(DQC)規則的DataWorks計算型任務(如EMR Hive
任務)為例,DataWorks將會收取調度費用、代碼執行產生的計算費用、數據質量實例費用以及數據質量規則校驗SQL執行產生的數據計算費用。
任務類型 | 資源組 | 調度費用 | 代碼執行產生的計算費用 | 數據質量實例費用 | 數據質量規則校驗SQL執行產生的數據計算費用 |
在DataWorks資源組進行計算的任務 | 舊版資源組 | ||||
Serverless資源組 | |||||
不在DataWorks資源組進行計算的任務 | 舊版資源組 | ||||
Serverless資源組 |
您可以查看附錄:計算型任務列表,判斷任務是否在DataWorks資源組進行計算,不在該列表的任務都不會收取計算費用,例如:在MaxCompute中運行的計算任務,不會在DataWorks資源組中計算,因此不收取DataWorks資源組計算費用。